剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频

近日,Picsart AI Resarch 等团队联合发布了 StreamingT2V,可以生成长达 1200 帧、时长为 2 分钟的视频,一举超越 Sora。

同时,作为开源世界的强大组件,StreamingT2V 可以无缝兼容 SVD 和 animatediff 等模型。

120 秒超长 AI 视频模型来了!不但比 Sora 长,而且免费开源!

Picsart AI Resarch 等团队联合发布了 StreamingT2V,可以生成长达 1200 帧、时长为 2 分钟的视频,同时质量也很不错。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

论文地址:https://arxiv.org/ pdf / 2403.14773.pdf

Demo 试用:https://huggingface.co/ spaces / PAIR / StreamingT2V

开源代码:https://github.com/ Picsart-AI-Research / StreamingT2V

并且,作者表示,两分钟并不是模型的极限,就像之前 Runway 的视频可以延长一样,StreamingT2V 理论上可以做到无限长。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

在 Sora 之前,Pika、Runway、Stable Video Diffusion(SVD)等视频生成模型,一般只能生成几秒钟的视频,最多延长到十几秒。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

Sora 一出,60 秒的时长直接秒杀一众模型,Runway 的 CEO Cristóbal Valenzuela 当天便发推表示:比赛开始了。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

—— 这不,120 秒的超长 AI 视频说来就来了。

这下虽说不能马上撼动 Sora 的统治地位,但至少在时长上扳回一城。

更重要的是,StreamingT2V 作为开源世界的强大组件,可以兼容 SVD 和 animatediff 等项目,更好地促进开源生态的发展:

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

通过放出的例子来看,目前兼容的效果还稍显抽象,但技术进步只是时间的问题,卷起来才是最重要的~

总有一天我们都能用上「开源的 Sora」,—— 你说是吧?OpenAI。

免费开玩

目前,StreamingT2V 已在 GitHub 开源,同时还在 huggingface 上提供了免费试玩,等不了了,小编马上开测:

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

不过貌似服务器负载太高,上面的这个不知道是不是等待时间,反正小编没能成功。

目前试玩的界面可以输入文字和图片两种提示,后者需要在下面的高级选项中开启。

两个生成按钮中,Faster Preview 指的是分辨率更低、时长更短的视频。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

小编于是转战另一个测试平台(https://replicate.com/ camenduru / streaming-t2v),终于获得一次测试机会,以下是文字提示:

A beautiful girl with short hair wearing a school uniform is walking on the spring campus

不过可能由于小编的要求比较复杂,导致生成的效果多少有点惊悚,诸位可以根据自己的经验自行尝试。

以下是 huggingface 上给出的一些成功案例:

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

StreamingT2V

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

「世界名画」

Sora 的横空出世曾带来巨大的轰动,使得前一秒还闪闪发光的 Pika、Runway、SVD 等模型,直接变成了「前 Sora 时代」的作品。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

不过就如同 StreamingT2V 的作者所言,pre-Sora days 的模型也有自己的独特魅力。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

模型架构

StreamingT2V 是一种先进的自回归技术,可以创建具有丰富运动动态的长视频,而不会出现任何停滞。

它确保了整个视频的时间一致性,与描述性文本紧密对齐,并保持了高帧级图像质量。

现有的文本到视频扩散模型,主要集中在高质量的短视频生成(通常为 16 或 24 帧)上,直接扩展到长视频时,会出现质量下降、表现生硬或者停滞等问题。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

AI 生成视频

而通过引入 StreamingT2V,可以将视频扩展到 80、240、600、1200 帧,甚至更长,并具有平滑过渡,在一致性和运动性方面优于其他模型。

StreamingT2V 的关键组件包括:

(i)称为条件注意力模块(CAM)的短期记忆块,它通过注意机制根据从前一个块中提取的特征来调节当前一代,从而实现一致的块过渡;

(ii)称为外观保留模块(APM)的长期记忆块,它从第一个视频块中提取高级场景和对象特征,以防止模型忘记初始场景;

(iii)一种随机混合方法,该方法能够对无限长的视频自动回归应用视频增强器,而不会出现块之间的不一致。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

上面是 StreamingT2V 的整体流水线图。在初始化阶段,第一个 16 帧块由文本到视频模型合成。在流式处理 T2V 阶段中,将自动回归生成更多帧的新内容。

最后,在流优化阶段,通过应用高分辨率文本到短视频模型,并配备上面提到的随机混合方法,生成的长视频(600、1200 帧或更多)会自动回归增强。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

上图展示了 StreamingT2V 方法的整体结构:条件注意力模块(CAM)作为短期记忆,外观保留模块(APM)扩展为长期记忆。CAM 使用帧编码器对前一个块上的视频扩散模型(VDM)进行条件处理。

CAM 的注意力机制保证了块和视频之间的平滑过渡,同时具有高运动量。

APM 从锚帧中提取高级图像特征,并将其注入到 VDM 的文本交叉注意力中,这样有助于在视频生成过程中保留对象 / 场景特征。

条件注意模块

研究人员首先预训练一个文本到(短)视频模型(Video-LDM),然后使用 CAM(前一个区块的一些短期信息),对 Video-LDM 进行自回归调节。

CAM 由一个特征提取器和一个特征注入器组成,整合到 Video-LDM 的 UNet 中,特征提取器使用逐帧图像编码器 E。

对于特征注入,作者使 UNet 中的每个远程跳跃连接,都关注 CAM 通过交叉注意力生成的相应特征。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

CAM 使用前一个块的最后一个 Fconditional 帧作为输入,交叉注意力能够将基本模型的 F 帧调节为 CAM。

相比之下,稀疏编码器使用卷积进行特征注入,因此需要额外的 F − Fzero 值帧(和掩码)作为输入,以便将输出添加到基本模型的 F 帧中。这会导致 SparseCtrl 的输入不一致,导致生成的视频严重不一致。

外观保存模块

自回归视频生成器通常会忘记初始对象和场景特征,从而导致严重的外观变化。

为了解决这个问题,外观保留模块(APM)利用第一个块的固定锚帧中包含的信息来整合长期记忆。这有助于在视频块生成之间维护场景和对象特征。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

为了使 APM 能够平衡锚帧的引导和文本指令的引导,作者建议:

(i)将锚帧的 CLIP 图像标记,与文本指令中的 CLIP 文本标记混合,方法是使用线性层将剪辑图像标记扩展到 k = 8,在标记维度上连接文本和图像编码,并使用投影块。

(ii) 为每个交叉注意力层引入了一个权重 α∈R(初始化为 0),以使用来自加权总和 x 的键和值,来执行交叉注意力。

自动回归视频增强

为了进一步提高文本到视频结果的质量和分辨率,这里利用高分辨率(1280x720)文本到(短)视频模型(Refiner Video-LDM)来自动回归增强生成视频的 24 帧块。

使用文本到视频模型作为 24 帧块的细化器 / 增强器,是通过向输入视频块添加大量噪声,并使用文本到视频扩散模型去噪来完成的。

然而,独立增强每个块的简单方法会导致不一致的过渡:

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

作者通过在连续块之间使用共享噪声,并利用随机混合方法来解决这个问题。

对比测试

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

上图是 DynamiCrafter-XL 和 StreamingT2V 的视觉比较,使用相同的提示。

X-T 切片可视化显示,DynamiCrafter-XL 存在严重的块不一致和重复运动。相比之下,StreamingT2V 则可以无缝过渡、不断发展。

现有方法不仅容易出现时间不一致和视频停滞,而且随着时间的推移,它们会受到物体外观 / 特征变化,和视频质量下降的影响(例如下图中的 SVD)。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

原因是,由于仅对前一个块的最后一帧进行调节,它们忽略了自回归过程的长期依赖性。

在上图的视觉比较中(80 帧长度、自回归生成视频),StreamingT2V 生成长视频而不会出现运动停滞。

AI 长视频能做什么

各家都在卷的视频生成,最直观的应用场景,可能是电影或者游戏。

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

用 AI 生成的电影片段(Pika,Midjourney,Magnific):

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

Runway 甚至搞了个 AI 电影节:

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

不过另一个答案是什么呢?

世界模型

剑指 Sora:Picsart AI 团队联合发布 StreamingT2V 模型,可生成 1200 帧 2 分钟视频休闲区蓝鸢梦想 - Www.slyday.coM

长视频创造的虚拟世界,是 Agent 和人形机器人最好的训练环境,当然前提是足够长,也足够真实(符合物理世界的逻辑)。

也许未来的某一天,那里也会是我们人类的生存空间。

参考资料:

https://github.com/Picsart-AI-Research/StreamingT2V

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关推荐

  • 友情链接:
  • PHPCMSX
  • 智慧景区
  • 微信扫一扫

    微信扫一扫
    返回顶部

    显示

    忘记密码?

    显示

    显示

    获取验证码

    Close