言語が混ざる会話の文字起こしと翻訳

言語が混ざる会話が翻訳アプリに難しい理由

スマホの翻訳アプリは、誰かが話し始める前に2つの言語を指定させ、あとはどの文もそのどちらかとして扱います。会議の文字起こしツールの中には、録音の前に選んだ1つの言語だけを会議ごとに文字起こしするものもあります。ドイツ語で始まって英語で終わる文は、どちらの仕組みにも当てはまりません。

All Voices は言語をあらかじめ固定しません。音声から各行の言語を判別し、話された言語のまま言葉を残して、その行をあなたのために翻訳します。

仕組み

• どの行も言語が保たれます。文字起こしには、各行が話された言語と文字のまま表示され、話者の名前が付き、その下に翻訳が表示されます。
• 読む言語を1つ選ぶか、2つの言語を通訳するか。読む言語を選ぶと、それ以外はすべてその言語に翻訳されます。2人が2つの言語で話すときは、All Voices が双方向に通訳することもできます。その場合、第三の言語の行は、2つのうちどちらかに翻訳されます。
• 想定する言語を指定すると効果的です。設定で、想定する言語を一覧にしておけます。All Voices が言語を認識しやすくなりますが、ほかの言語も引き続き判別されます。どの言語が話されるかが正確にわかっているときは、セッション中、認識をそれらに限定できます。
• 名前や専門用語は用語として登録。製品名、略語、人名を用語として追加すると、どの言語でも、新しいセッションのたびに認識されます。

確認したこと

英語、ドイツ語、標準中国語を順に話す3人の話者による会議を試験しています。途中で英語に切り替わるドイツ語の文も含まれます。直近の試験では、すべての実行が完了し、どの文も話された言語のまま残りました。この試験では、実際の会議の録音ではなく、生成した音声を使っています。話が重なったり、なまりがあったりする実際の会議室では、もっと難しくなります。

そのため、はっきり言える組み合わせは、中国語と英語、ドイツ語と英語、そして3つの言語を行き来する会議です。アプリにあるほかの言語の組み合わせでもうまくいくかもしれませんが、まだ測定していません。購入の前に、無料の30分で自分の言語の組み合わせを試せます。

言語が混ざる場面

• ある言語が会議の言語、別の言語が実務の言語になっている国際的なチーム。
• 親と子が互いに別の言語で答え合う家族。
• 別の言語の文の中でも、製品名や専門用語が英語のままになる職場。

会議のあと

保存された会議では、録音と文字起こしが同期しているので、言語が混ざった文をどれでも再生して、何が話されたかを正確に聞き直せます。要約、決定事項、アクション項目は、あなたが選んだ言語で作成され、2つ目の言語でも作成できます。2言語の議事録をご覧ください。

制限

• リアルタイムの文字起こしと翻訳には、インターネット接続が必要です。接続が切れても、All Voices は再接続のあいだ録音を続けます。
• アプリの言語の中には、実験的と表示されているものがあります。それらの言語が混ざる会話は、信頼性が下がります。
• 強い方言は、どの音声認識システムにとっても難しくなります。結果が重要なときは、名前や数字を録音と照らし合わせて確認してください。