AI视频工具

VIGGLE

AI可控视频生成神器,生成带有指定动作的角色,提升视频中人物行为的可控性。

标签:
1AiBox AI社群
VIGGLE

今天为大家推荐一款新的 AI 视频制作工具 Viggle,它可以通过文本或视频生成带有指定动作的角色,从而提升 AI 视频中人物行为的可控性,今天就为大家详细介绍一下它的特点与用法。

Viggle AI

官网: https://www.viggle.ai/ (服务托管在 Discord 中)

Viggle 在上线之后很快就引起了关注,因为它解决了 AI 视频生成中一个非常重要的问题——如何准确控制角色的肢体动作。之前我们了解的一些 AI 视频工具,基本都是通过文本或者图像来生成视频,是对画面整体添加动态,很难准确控制人物动作;Viggle 则是将人物动态单独拿出来处理,让真人动作能完美复制到另一个角色身上,这样无论是哪种姿势都是可以实现的。

下面 Viggle 创始人@Nora.Z 展示的一个案例。对于第一张图中的静态角色,Viggle 可以为其添加任意一种你需要的动作,比如走、跑、跳等,添加动态后的角色还可以再次被合成到原本的场景中,实现逼真的动态效果。

电影摄影师 @ Abel Art 则利用 Viggle 实现了非常好的角色替换效果。原本的真人变成了蓝色的外星人,但动作姿势依旧如真人般灵活多样,这种处理方式应该比传统的 CG 建模要高效很多。

Viggle 的服务托管在 Discord 中,目前可以免费使用。它主要支持 4 种功能,下面逐一为大家介绍其使用方法。

① 图像+视频生成动态

此功能中,用户可以先上传一个视频和一张角色图像,Viggle 会自动将视频的动态赋予给这个角色,形成一段新视频。而且 Viggle 并非只能生成简单的正面动作, 它能模拟出角色的 3D 状态,这样即使原视频中有身体旋转、四肢交叠等动作,Viggle 也能准确进行还原处理。

我们可以通过 /mix 命令来实现这一效果。在 Discord 社区中进入任意 animate 频道,输入 /mix,然后在弹出的文件框中上传你的图像和视频。图像人物要清晰,最好是全身正面照;视频大小小于 25MB,分辨率高于 720p;还可以设置背景颜色(白色/绿色),以及开启 finetune 微调。

VIGGLE

设置完成后,按 Enter 发送,完成后会自动返回生成结果(注意视频播放音量)。

② 图像+文本生成动态

除了上传视频,我们也可以直接用文本提示让 Viggle 生成指定动作,这样就可以省去找视频素材的时间。

动态提示词可以自己写,也可以参考 Viggle 官网首页提供的提示词模板,进入 「Prompt」版块就能看到。里面 100 多种动态提示词,包含跳舞、行走、跑步等各种类型的姿势动态,可以直接复制使用。

VIGGLE

进入 Discord 后,输入命令 /animate,然后在文件框内上传准备好的图像,再填写动态提示词,设置好背景颜色,按 Enter 发送生成就可以了。

VIGGLE

生成结果(注意音量):

③ 文本/图像直接生成动态角色

Viggle 也支持直接从文本提示生成带动态的角色,实现此功能的命令是 “/ideate” 。

使用时提示词会分为两部分,在 image_prompt 处输入人物描述,比如 “ A man wearing a black combat outfit ”,然后在 motion_prompt 处输入有关动作的描述词,比如 “$wave_arms_excitedly”,设置好背景颜色,按 Enter 发送即可。

VIGGLE

此外还有一个 /character 命令,支持先生成人物图像,再通过文本提示对其添加动态。有了这一步,我们可以筛选确定好人物形象后再加动态,避免出现文本直接生成后发现效果不好的情况。

VIGGLE

④ 生成风格化人物

Viggle 还支持对真人照片进行风格化,再添加动效,来得到更多样化的视频效果。

此功能可以通过 /stylize 命令来实现。输入命令后,上传一张人物的照片,在提示词中描述你想要转换的风格,比如 “3D pixar”,然后发送出去。等新的图像完成后,挑选一张你喜欢的添加动态就可以。

VIGGLE

生成结果(注意音量):

相关导航