谷歌最新发布的Lumiere先进视频AI技术!

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作

谷歌最新发布的Lumiere先进视频AI技术!2.jpg

最新,谷歌AI研究团队发布了名为Lumiere的新型视频生成系统,该系统被业内专家认为标志着生成式内容技术飞跃进化的重要进展。

Lumiere使用独特的“空间时间U-Net”架构,可以直接从文本描述生成高达5秒长度的逼真视频图像序列。不同于传统系统分步生成关键帧的方式,Lumiere通过单次模型运算就可以输出完整的视频内容,大幅提升了生成视频的连贯性和真实性。

谷歌Lumiere视频AI2.png

在技术演示中,Lumiere成功实现了多种创作任务,包括文本到视频、图像到视频、视频修复、风格迁移等。用户只需提供简单的文本或图像输入,Lumiere就可以生成符合输入要求的宏观连贯的视频图像。该系统支持用户自定义视频分辨率、长度、内容风格等参数,极大地降低了视频制作门槛。

谷歌Lumiere视频AI4.png

Lumiere的独特之处在于可以实现视频风格迁移。如果提供风格样本图像,Lumiere可以解析图像风格特征,并将其应用到任意视频内容上,输出具有相同风格的结果视频。

谷歌Lumiere视频AI3.png

另外,Lumiere集成了先进的视频修复算法,可以对视频进行遮挡物抹除、物体移除等智能编辑。用户只需在视频中标记需要处理的区域即可自动完成修复。

谷歌Lumiere视频AI5.png

谷歌官方介绍,Lumiere目前还处于研究阶段,但未来可能会应用于产品和服务中,为用户提供更加智能便捷的内容创作工具。随着技术的迭代和产品化,普通用户也将有机会体验到该项技术带来的惊喜!

项目及演示:https://lumiere-video.github.io/

论文:https://arxiv.org/abs/2401.12945

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速、安全、高效、私密的UI设计团队云协作
立即部署>>
标记狮私有云部署-一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作