Google研究院近日宣布了一项划时代的技术VideoPoet

2023年12月19日,Google研究院宣布了一项划时代的技术——“VideoPoet”,这是一种全新的、基于大规模语言模型(LLM)的动画生成技术,而别都大部分生成模型大多以“扩散模型(Diffusion Model)”为主流,Google这次可是玩出了新花样。

图片[1] - Google研究院近日宣布了一项划时代的技术VideoPoet - EVLIT

VideoPoet的厉害之处在于,它能够接收一段文字,然后变魔术似的把这段文字变成动画,还能对图片进行动画化处理,甚至可以进行视频的风格化、视频内部和外部的修补,还能将视频转换成音频。

图片[2] - Google研究院近日宣布了一项划时代的技术VideoPoet - EVLIT

想象一下,你给它一段描述,“在时代广场上跳舞的浣熊”,或者“穿梭在梵高《星夜》的马”,VideoPoet都能给你变出来。

具体来看VideoPoet的能力。它包括:

输入文字生成动画,可根据文字内容设置动作、风格、质量和动画的时长。

Google发表新大语言模型VideoPoet:零样本就可以制作10秒的影片

静态图片生成动画,可以让静态图片动起来。

Google发表新大语言模型VideoPoet:零样本就可以制作10秒的影片

动画再编辑,对原有的动画进行再编辑,调整动画风格等。可以根据输入的文字进行风格调整。

Google发表新大语言模型VideoPoet:零样本就可以制作10秒的影片

当然,也可以让原本画面中不动的物体动起来、或加上烟雾等。

Google发表新大语言模型VideoPoet:零样本就可以制作10秒的影片

比如,让蒙娜丽莎转动身体、打哈欠。🤣

Google发表新大语言模型VideoPoet:零样本就可以制作10秒的影片

当然,基本的缩放、弧线、航拍镜头都可搞定。

Google发表新大语言模型VideoPoet:零样本就可以制作10秒的影片

如果想让扩充画面、增加元素,VideoPoet也能办到。

Google发表新大语言模型VideoPoet:零样本就可以制作10秒的影片

最后放一个短片,是Google用VideoPoet制作了一个短片,讲述了一个旅行的浣熊的故事。这个短片的脚本是由Bard编写的,每个场景都有详细的分解和相关的文本提示,最终将各个视频片段拼接起来,形成了完整的故事。

图片[10] - Google研究院近日宣布了一项划时代的技术VideoPoet - EVLIT
© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像
说说你的看法!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容