一键全自动生成中英文字幕,开源 AI 神器!
来自微信公众号关注 “GitHub 宝典”
设为 “星标”,每天带你逛 GitHub!
在日常学习和工作中,我们往往会发现有一些优质的外语学习资源,如 TED 演讲,Khan Academy、Coursera 等等。
正常情况下,最新的视频内容很少自带中文字幕,这对于一些英语不太好的同学,有较高的学习门槛。
这时候,如果有一款可以为视频自动生成中英文字幕的工具,无疑极大地提高我们的学习效率。
无独有偶,最近我在 GitHub 上发现一款一键全自动的开源 AI 视频翻译神器。
无论是一部英文电影,还是一部日本动漫,通过该工具,能够瞬间翻译成中文字幕,甚至还能克隆原音色进行中文配音。
今天,就给大家推荐这款视频翻译的 AI 神器:VideoLingo。
GitHub:https://github.com/Huanshere/VideoLingo
它能够一键完成视频的下载、字幕切割、翻译和精准对齐,最终生成 Netifx 级别的字幕,甚至还可以克隆自己音色进行个性化配音。
工具的部署与使用也比较简单,接下来给大家详细介绍下。
工具特点
-
使用 NLP 和 LLM 对字幕精准分割;
-
内置专业术语知识库,避免专业术语被翻译,同时实现上下文感知翻译;
-
采取高质量三步翻译法,先直接翻译,然后进行反思,最后对翻译结果改进;
-
实现精确到单词级的字幕对齐;
-
支持多种大语言模型,按需选择性价比最高的模型,做一个 5 分钟的视频翻译花不到 1 块钱;
-
可使用 GPT-SoVits 克隆音色并生成高质量的个性化配音。
本地部署
前提条件:
-
安装 Visual Studio 2022 或者 Microsoft C++ 生成工具;
-
勾选并安装组件包:“使用 C++ 的桌面开发”;
-
安装 Cmake 构建程序。
完成以上依赖安装之后,再进行如下几个步骤。
-
克隆仓库并进入项目文件夹: