谷歌公司于2023年11月6日正式推出了Gemini Omni 1.2 Flash视频生成模型,并对Gemini API及Gemini for Business平台进行了全面开放。该新版模型实现了原生15秒的视频生成、多轮对话式编辑及更强的参考遵循能力,同时较1.1版本的成本降低了30%。具体而言,720p视频的生成价格降至每秒0.07美元(根据当前汇率约合0.47元人民币)。
首先,在规模化成本降低方面,新版工作流允许用户以360p或720p分辨率快速起草视频,随后通过进一步编辑修正细节,无需重新生成整个片段,最终可将成品升级至1080p或4K分辨率,从而进一步压缩使用成本。这种灵活的生成和编辑流程使得用户能够更加高效地管理资源。
其次,在视频时长的支持上,Gemini Omni 1.2 Flash将可生成视频的最大时长从1.1版本的10秒延长至15秒,并在3至15秒的区间内支持以1秒为单位进行自定义时长生成。此功能使用户能够一次性完成完整的故事叙述、产品说明或社交广告片段的制作,极大地提升了创作效率。 RB88
此外,模型在参考遵循方面表现出色,用户可结合角色、产品或风格图片,以及最多3秒的动态片段和音频线索进行引导生成。此功能确保了在不同镜头角度下,角色、服装、包装字体及品牌色彩的一致性,方便将现有产品图及角色设定图转化为虚拟试穿、产品旋转展示及品牌宣传视频。
在结果一致性方面,新版模型能够从首帧至末帧保持角色、物体和场景的强一致性,显著减少了运动及镜头切换过程中的视觉漂移与变形。通过对首末关键帧之间的插值及对长序列的构建,产品、角色及环境在不同镜头之间保持了一致性,从而提升了视觉体验。
在对话式编辑功能方面,用户能够逐轮对同一片段进行调整,例如替换产品或背景、修改光照条件或天气、切换画面比例等,而无需重新生成整个片段。这一多轮对话式编辑能力支持完整15秒片段的制作,方便为不同受众及广告投放位生成变体内容。 RB88
最后,在语音效果方面,Gemini Omni 1.2 Flash支持生成更为流畅自然的对话和更清晰的口型同步,并能够进行多说话人条件控制。这一特性适用于在Flow中导演多角色对话,或在Gemini for Business中制作讲解类视频。
综上所述,Gemini Omni 1.2 Flash在电影级画面控制和复杂镜头运动的指挥能力方面有所提升,显著减少了不必要的跳切,使得视频在缩放比例和电影质感上得以更为稳定的呈现。此次发布基于谷歌云的企业级基础设施及安全能力,支持预置吞吐量,生成内容同时附带肉眼不可感知的SynthID水印。开发者可通过Google AI Studio进行原型调试和文档查看,企业用户亦可在谷歌云控制台中进行体验,而普通用户则可在Flow与Google Vids中免费生成15秒片段。
觉得有用?分享给朋友
让更多人看到这篇内容。