AI を使用して自分の声とリップシンクでビデオを翻訳する方法

YouTube でより多くの視聴者にリーチしたい、または特定の言語で誰かにビデオを送信したいですか? オンラインで利用できる AI ツールを使用すると、ビデオをさまざまな言語に簡単に翻訳できます。それだけでなく、一部の AI ツールは翻訳されたビデオにあなたの声を使用し、それに応じて唇を同期させることもできます。AI動画翻訳ツールをいくつか試してみました。ここでは、口パクでビデオを翻訳できる最高のオンライン AI サービスを紹介します。

1.ヘイジェンAI

HeyGen は、私たちが試したすべての AI 翻訳アプリの中で、ビデオを翻訳し、翻訳された音声にあなたの声を追加するという点で最高の仕事をしてくれました。アクセントのあるあなたの声を複製しようとするため、翻訳されたナレーションは AI が生成したものよりもはるかに自然に感じられます。また、ほとんどの場合、翻訳された音声に応じてリップシンクの速度も正確に変更されます。

無料トライアルではビデオ翻訳は 1 分のみであることに注意してください。その後は、1 クレジットあたり約 2 ドルの月額または年額サブスクリプション プランを選択する必要があります。各クレジットごとに 1 分間の翻訳されたビデオが得られます。

1. HeyGen を使用してビデオを翻訳するには、HeyGen Web サイトを開いてアカウントを作成し、プランを選択します。動画の翻訳に使用できるクレジットを取得します。

2.サイドバーの「ビデオ翻訳」オプションをクリックします。

3.翻訳したいビデオファイルをドラッグアンドドロップするだけです。

4.完了したら、翻訳先の言語を選択します。この記事の執筆時点では、HeyGen は 14 の言語をサポートしています。

5.選択したら、「このビデオを翻訳!」をクリックします。ボタン。

6.ビデオを翻訳する代わりに、[翻訳] ボタンの横にあるドロップダウンメニューから音声のみを翻訳することを選択し、 [音声のみを翻訳]オプションをクリックします。

7.ポップアップで、ビデオの翻訳に必要なクレジット数を確認できます。続行するには、「送信」ボタンをクリックしてください。

8.これにより、ビデオが Web サイトにアップロードされ、翻訳されます。はい、これは Web アプリであるため、翻訳は PC 上でローカルに行われません。

9.完了したら、ビデオを再生して出力を確認し、[ダウンロード]ボタンをクリックしてローカル ストレージに直接ダウンロードできます。

長所:

• 翻訳との併用も効果的です。
• 音声を使って翻訳できます
• 翻訳された言語に従ってビデオをリップシンクします
• 柔軟なプラン
• 使いやすく、ナビゲートしやすい
• アバターの作成とスクリプトの作成のためのその他の AI ツール

短所:

• 無料トライアルはわずか 1 分
• 翻訳を手動で変更することはできません
• 14 言語のみがサポートされています
• 他の AI ツールと比較してクレジットが高価である
• ファイルサイズは1GBに制限されています

2.ラスク

Rask は、機能、サポートする言語、提供する手動カスタマイズの点で HeyGen を上回るもう 1 つの AI 翻訳ツールです。自分の声で翻訳したり、ビデオをリップシンクしたりすることもできます。ただし、リップシンクなどの機能のほとんどはベータ段階にあります。

1. Rask Web サイトを開き、 「ビデオとオーディオのアップロード」ボタンをクリックします。

2.ポップアップが開き、翻訳したいビデオをドラッグアンドドロップします。YouTube ビデオへのリンクを挿入して、YouTube に既にアップロードされているビデオを翻訳することもできます。

3.完了したら、プロジェクト名を入力し、ビデオ内の発言者の数と元のビデオの言語を選択します。ただし、自動検出がデフォルトのオプションであるため、AI がビデオの言語を自動的に判断することを信頼できます。

4.完了したら、ビデオを翻訳する言語を選択します。

5.デフォルトでは、アップロードしたビデオを AI が文字起こしして翻訳します。ただし、精度を高めるために、エラーの余地を少なくして字幕ファイルをアップロードするオプションもあります。

6.完了したら、「翻訳」ボタンをクリックします。

7. Rask がビデオをアップロードして処理するのに数秒かかります。完了すると、翻訳されたテキスト全体を読むことができます。AI が文字起こしで何か間違ったことをした場合、または何かを変更したい場合は、テキストを簡単に編集できます。

8.右側のペインで翻訳されたビデオを再生できます。「ダウンロード」ボタンをクリックしてビデオをダウンロードします。

9.リップシンク、オーディオバージョン、または翻訳された SRT ファイルなど、翻訳されたビデオの他のバージョンをダウンロードするには、[ダウンロード]ボタンの横にあるドロップダウンをクリックし、ダウンロードするバージョンを選択します。

長所:

• より良い結果を得るために、翻訳をカスタマイズしたり、独自の SRT ファイルをアップロードしたりできます。
• スピーカーの数を選択する機能
• 最大 130 言語の翻訳をサポートします。
• 各クレジットのコストは 1.6 ドルで、HeyGen と比較して安価です。

短所:

• 130 の言語をサポートしていますが、音声をクローンできるのは 29 言語のみです。
• 料金は月額 50 ドルからです。取得できるクレジットを減らすことはできません。
• ファイルサイズは1GBに制限されています

このビデオを翻訳する

AI ツールは私たちの仕事の多くを容易にし、ビデオの翻訳は非常にうまく機能するものの 1 つです。文字起こし、翻訳、ニューラル音声のクローン作成、リップシンクの調整などの複雑なタスクはすべて、数秒で完璧に実行できます。ただし、説明したように、AI を使用せずにビデオを他の言語に翻訳することもできます。