过去一年多,全球科技公司都在发布各种大模型,然而AI生成内容更多集中在文本和图片方面,AI视频生成方面却进展缓慢。从当前的形势来看,AI视频生成在今年或许会有一番新景象。那么目前国内外都有哪些AI视频生成工具,效果如何呢?
Sora
OpenAI发布的新型视频生成模型Sora,其核心能力是能够生成长达一分钟的高清视频,这一时长远超之前的生成模型。而且,Sora生成的视频不仅画质卓越,细节丰富,而且帧率高、连续性好,几乎达到了无缝衔接的效果。
从OpenAI官网展示的一个视频来看,输入提示词“一位时尚女士走在东京的街道上,街道上充满了温暖的霓虹灯和动画城市标志。她穿着黑色皮夹克、红色长裙和黑色靴子,拿着一个黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信而随意。街道潮湿且反光,形成了五颜六色灯光的镜面效果。许多行人四处走动。”
生成的视频,无论是运镜还是人物、地面、背景的细节,还有拉进镜头后人物面部上的皱纹、毛发、墨镜上的反光,都几乎可以以假乱真,画面稳定不错位。在长达60秒的视频里,画面随镜头的大幅度运动并没有出现错位的情况,整体风格保持了惊人的一致性。
据IDC中国预测,Sora将率先在短视频、广告、互动娱乐、影视制作和媒体等行业中得到应用。在这些领域,利用Sora的多模态大模型能力,可以辅助内容行业的工作者更高效地创作视频,不仅加快了生产速度,还提高了产出数量,并为用户带来前所未有的视觉体验。这将助力企业实现成本降低、效率提升,并进一步优化用户体验。
Pika 1.0
在OpenAI发布视频生成模型Sora之前,去年11月29日,美国AI初创公司Pika labs发布的文生视频产品Pika 1.0呈现的效果在当时也相当惊艳。Pika labs是一家成立于去年4月份的初创公司,创始人郭文景和联合创始人兼CTO Chenlin Meng,都是斯坦福大学AI Lab博士生。一位专注于NLP(自然语言处理)和图形学,另一位主攻计算机视觉方向。
据介绍,该公司推出的视频生成模型Pika 1.0能够生成和编辑3D动画、动漫、卡通和电影。视频生成方面,可以通过文字生成视频,也可以图片生成视频。比如,只需输入提示词“马斯克穿着太空服,3D动画”,一个动画版本、穿着太空服准备乘坐火箭上太空的马斯克即可生成,外形、动作、背景等元素均十分逼真,可以媲美花大成本制作的3D动画影像。
Pika 1.0还可以通过原有视频生成更高质量的视频。该公司当时展示了一个骑马的黑白原视频,通过Pika 1.0生成了物种不同风格的动画,几乎涵盖现有电影和动画大部分风格,看上去质量效果非常好。除了视频生成,Pika 1.0还能够进行视频编辑,用户只需要选定编辑区域,就能根据文本提示词修改特定区域。
在当时来看,Pika 1.0的出现可以说效果好于之前的文生视频模型。然而随着现在Sora的出现,Pika或许会感觉到压力。Pika公司创始人郭文景表示,“我们觉得这是一个很振奋人心的消息,我们已经在筹备升级中,将直接对标 Sora。”