一键视频翻译 + 配音 + 字幕,开源神器!
公众号关注 “GitHub 宝典”
设为 “星标”,每天带你逛 GitHub!
如今,观看多语言无字幕的视频终于不再是门槛了!
一部英文电影,一部日本动漫,通过 AI 工具,能够瞬间翻译成中文字幕,甚至还能克隆原视频音色进行中文配音。
今天,就给大家推荐 GitHub 上一款开源且强大的视频多语言 AI 配音/翻译工具:Linly-Dubbing。
GitHub:https://github.com/Kedreamix/Linly-Dubbing
它能够一键自动下载全平台视频,对视频识别语音进行多语言字幕翻译,甚至还可以对原视频进行人声分离。
然后对克隆视频原语音的音色,再重新中文配音以及对口型匹配,最后对视频进行合成,全过程自动化,一键完成。
项目特点
-
多语言支持: 支持中文及多种其他语言的配音和字幕翻译,满足国际化需求。
-
AI 智能语音识别: 使用 WhisperX/FunASR 进行语音识别,提供精确的语音到文本转换和说话者识别。
-
大型语言模型翻译: 使用大语言模型(如GPT),快速且准确地进行翻译,确保专业性和自然性。
-
AI 声音克隆: 使用 GPT-SoVITS,对原视频配音进行克隆生成高度相似的语音,保持情感和语调的连贯性。
-
数字人对口型技术: 通过对口型技术 Linly-Talker,使配音与视频画面高度契合,提升真实性和互动性。
-
自动下载视频: 利用 yt-dlp 强大的开源命令行工具,一键自动下载几乎全平台视频。
安装指南
官方在 GitHub 上有给出详细的安装与配置步骤,可以一步一步按要求执行命令进行部署。
详细文档:https://github.com/Kedreamix/Linly-Dubbing
在启动程序前,会下载所需要的模型,如 Qwen、XTTSv2、CosyVoice、faster-whisper-large-v3 等,时间可能会稍微有点久,耐心等待下。
另外,作者还详细介绍了该工具技术实现上的一些细节,如果你是一名技术开发人员,值得借鉴学习。
演示示例
最后
以上,就是关于 Linly-Dubbing 工具的介绍。
通过整合目前最新的 AI 技术,为我们提供无缝、高质量的多语言视频配音和翻译服务。
可用在对国际教育、全球娱乐等内容做本地化,说不定也是一款流量变现神器!
文中所提到的所有开源项目与工具,已收录至 GitHubDaily 的开源项目列表中。
该列表包含了 GitHub 上诸多高质量、有趣实用的开源技术教程、开发者工具、编程网站等内容。
从 2015 年至今,累计分享 3500+ 个开源项目,Star 增长 24000+,有需要的,可访问下方 GitHub 地址自取:
GitHub:https://github.com/GitHubDaily/GitHubDaily
好了,今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!