AniTalker(人物肖像和语音生成逼真面部动画的AI工具)简介
AniTalker是一个人物肖像和语音生成逼真面部动画的AI工具,开源免费,能够基于给定的人物肖像和语音生成逼真的面部动画。该工具由一个两阶段的模型框架组成:第一阶段是通过对运动编码器和渲染模块进行训练,从而学习从人物肖像和语音中提取面部运动和身份信息;第二阶段则使用扩散模型在第一阶段的基础上进一步优化面部动画生成的质量和多样性。
该工具的主要特点包括:
- 解耦面部运动和身份编码,使得可以从任意人物肖像和语音生成逼真面部动画。
- 支持调节生成面部的姿态角度,如上下左右旋转等,使生成结果更加自然。
- 提供了多种前端语音特征提取方式,如MFCC和Hubert特征等。
- 开源代码清晰,各模块高度模块化,方便扩展和定制。
AniTalker(人物肖像和语音生成逼真面部动画的AI工具)官网
- Github项目主页:https://github.com/X-LANCE/AniTalker
- 在线演示:https://x-lance.github.io/AniTalker/
只需提供人物肖像和语音即可快速生成面部动画,应用前景广阔,可用于虚拟人物动画、视频制作、游戏和元宇宙等领域。