Расшифровка и перевод, когда люди смешивают языки

Почему смешанная речь сложна для приложений-переводчиков

Телефонные приложения-переводчики просят указать два языка до того, как кто-то заговорит, а затем считают каждую фразу принадлежащей одному из них. Некоторые помощники для заметок расшифровывают один язык на встречу, выбранный до начала записи. Фраза, которая начинается по-немецки и заканчивается по-английски, не подходит ни под один из этих вариантов.

All Voices не задаёт языки заранее. Он определяет язык каждой строки по речи, оставляет слова на том языке, на котором они прозвучали, и переводит строку для вас.

Как это работает

• Каждая строка сохраняет свой язык. Расшифровка показывает каждую строку на том языке, на котором её произнесли, и в его письменности, с именем говорящего и переводом под ней.
• Один язык для чтения или два для перевода в обе стороны. Выберите язык, на котором вы читаете, и всё остальное будет переведено на него. Когда два человека говорят на двух языках, All Voices может вместо этого переводить в обе стороны. В этом режиме строка на третьем языке переводится на один из двух.
• Ожидаемые языки помогают. В настройках можно перечислить языки, которых вы ожидаете. Это помогает All Voices их узнавать; остальные языки по-прежнему определяются. Если вы точно знаете, какие языки будут звучать, во время сеанса можно ограничить распознавание только ими.
• Термины для имён и профессионального жаргона. Добавьте названия продуктов, аббревиатуры и имена людей как термины, и они будут узнаваться в каждом новом сеансе, на любом языке.

Что мы проверили

Мы тестируем встречу с тремя участниками, которые по очереди говорят на английском, немецком и китайском (путунхуа), в том числе немецкую фразу, которая посередине переходит на английский. В нашем последнем тесте все прогоны завершились успешно, и каждая фраза сохранилась на том языке, на котором прозвучала. В тесте использовались сгенерированные голоса, а не запись настоящей встречи; настоящая комната с перебиваниями и акцентами сложнее.

Поэтому назвать мы можем такие смеси: китайский с английским, немецкий с английским и встречи, где звучат все три языка. Другие сочетания языков из приложения тоже могут работать, но мы их не измеряли. Бесплатных 30 минут хватит, чтобы попробовать вашу смесь до покупки.

Где языки смешиваются

• Международные команды, где один язык служит языком встреч, а другой рабочим языком.
• Семьи, в которых родители и дети отвечают друг другу на разных языках.
• Рабочие места, где названия продуктов и технические термины остаются английскими внутри фраз на другом языке.

После встречи

Сохранённая встреча хранит запись синхронно с расшифровкой, поэтому можно заново прослушать любую смешанную фразу и услышать, что именно было сказано. Сводка, решения и задачи пишутся на выбранном вами языке и могут быть написаны ещё раз на втором языке. См. заметки встречи на двух языках.

Ограничения

• Расшифровке и переводу в реальном времени нужно подключение к интернету. Если оно пропадёт, All Voices сохраняет запись, пока восстанавливает связь.
• Некоторые языки в приложении помечены как экспериментальные. Смешанная речь на этих языках менее надёжна.
• Сильные диалекты сложнее для любой системы распознавания речи. Если результат важен, сверьте имена и числа с записью.