Существует более сложный способ перевода видео YT: Скачайте его и разместите на своем канале. Но теперь необходимо активировать субтитры в настройках Creative Studio. Или вы используете другое мобильное устройство с установленным переводчиком Яндекса и включенным режимом загрузки аудио, что также не очень практично.
Перевод страниц, картинок и видео
Встроенный переводчик отображает слова и фразы на языке, используемом в пользовательском интерфейсе браузера Яндекс. Он также распознает подписи и дает перевод поверх оригинального текста. Кроме того, браузер предлагает перевод видео с английского на русский язык. Смотрите любимые лекции и видео на русском языке с помощью функции субтитров.
Браузер автоматически определяет язык загруженной страницы и предлагает ее перевод, если он отличается от языка пользовательского интерфейса. Вы также можете открыть окно перевода, нажав на значок на панели Smart Bar.
Чтобы перевести текст страницы на язык интерфейса браузера, щелкните в окне Перевод. Чтобы снова отобразить страницу на языке оригинала, нажмите на окно Отобразить оригинал.
Если вам нужно перевести страницу на другой иностранный язык, укажите его вручную, нажав на окно → Перевод на другой язык.
Если вы перевели страницу на один язык, а затем изменили целевой язык, изображения автоматически переводятся на новый язык.
Чтобы отобразить текст переведенной страницы на языке оригинала, наведите указатель мыши на предложение. Оригинальный текст отображается во всплывающем окне.
Если всплывающее окно с текстом не появляется:
Браузер может переводить отдельные слова или предложения на странице на русский язык. Чтобы отобразить перевод слова или предложения, выделите его и нажмите на значок в контекстном меню.
Проверка правописания на иностранном языке
Браузер проверяет орфографию в формах ввода (например, для электронной почты).
Примечание. Если ваш язык не отображается в списке, вернитесь на страницу Настройки языка и региона. В области View Language нажмите Add Language и выберите нужный язык из полного списка языков, поддерживаемых браузером.
Когда вы вводите текст, браузер подчеркивает неизвестные слова. Если вы уверены в написании подчеркнутого слова, щелкните его правой кнопкой мыши и выберите Добавить в словарь.
Вы можете редактировать пользовательский словарь:
Перевод картинок
Щелкните правой кнопкой мыши на изображении и выберите в контекстном меню пункт Перевести изображение.
Чтобы перевести остальную часть изображения:
Аннотация. Если изображение слишком маленькое, кнопка Переводчик не будет отображаться. Щелкните правой кнопкой мыши на изображении и выберите в контекстном меню пункт Перевести изображение.
Чтобы отобразить исходное изображение, используйте один из следующих методов:
Чтобы скрыть кнопку переводчика на всех изображениях, наведите указатель мыши на любое изображение и нажмите → Скрыть кнопку .
Если вы хотите отобразить страницу и изображения на языке оригинала, нажмите Показать оригинал в окне.
Содержание
Поддерживаются практически все программы: не только Chrome, Edge и другие, работающие под управлением Chromium, но и Firefox и Safari.
- Установите расширение Tampermonkey (платное для Safari, может быть заменено утилитой UserScripts) — это менеджер сценариев, который запускает необходимый алгоритм для создания субтитров к видео.
- Загрузите специальный скрипт — после нажатия на кнопку «Установить» вкладка закроется.
Проверить, установлен ли он, можно в меню расширений, нажав на кнопку «Панель управления». Если файл скрипта прикреплен к этой статье (внизу) — его можно установить вручную, если что-то случится на GitHub.
Теперь при открытии видео на YouTube над значком расширения Tampermonkey появляется красный круг, а над видеоплеером появляется виджет, предлагающий перевод с субтитрами.
Если вы расширите дополнительные настройки, вы сможете активировать автоматический перевод клипов и настроить громкость переведенного голоса.
Кратко: как работает закадровый перевод Яндекса
Пока вы не протестировали эту технологию, она может показаться простой и плохо реализованной: Голосовой перевод уже давно доступен в самом Google Translate, но его речевой движок оставляет желать лучшего. На практике, однако, все совсем наоборот — это комбинация очень сложных алгоритмов, и результат получается действительно исключительным.
Человеческие переводы и закадровый голос создаются в несколько этапов:
-
Распознавание и обработка речи На этом этапе алгоритмы пытаются обработать речь. В ролике может быть более одного диктора, и если просто преобразовать все услышанные слова в текст, а затем перевести их, то получится каша. Нейронная сеть пытается сгруппировать слова в осмысленные сегменты, упорядочить пунктуацию (это очень важно даже в видео с одним диктором) и удалить мусор.
Если субтитры были добавлены к видео вручную, нейронная сеть использует их вместо оригинальной звуковой дорожки.
Хотя некоторые из этих этапов выполняются параллельно, вся технология очень сложна и ресурсоемка — поэтому на создание субтитров требуется время.
Какие ограничения по сравнению с Яндекс.Браузером
Хотя скрипт в этой статье использует технологию Яндекса, неофициальные подписи работают хуже в других браузерах из-за некоторых ограничений.
- Популярные видео не переводятся мгновенно Яндекс.Браузер мгновенно переводит озвучку популярных видео с большим количеством просмотров (похоже, что компания хранит готовую озвучку этих видео на своих серверах вместо того, чтобы делать это заново). При использовании сценария популярные видеоролики также проходят все этапы озвучивания, поэтому вам придется подождать — примерно 1 минуту на каждые 10 минут видео.
Несмотря на все свои недостатки, скрипт делает свою работу — восстанавливает видео на русском языке, и делает это очень хорошо. Как и технология Яндекс.Браузера, он поддерживает перевод не только с английского, но и с немецкого, французского и испанского языков.
YouTube в окне
Раз уж мы заговорили о YouTube, нельзя не упомянуть еще одну важную особенность — видео в окне. Некоторые люди подписываются на YouTube Premium, чтобы включить его, используя различные лазейки, но Яндекс Браузер позволяет добиться того же результата, не настраивая его. Откройте настройки браузера и включите опции «Показывать видео поверх других приложений» и «Показывать видео при выходе из вкладки».
И вам не нужна подписка
Как только вы покинете страницу с видео, видео будет продолжать воспроизводиться в прокручиваемом окне. Кстати, функция работает не только на YouTube. Таким образом, вы можете смотреть видео в фоновом режиме независимо от предпочитаемой службы видеохостинга.
Поделитесь своим мнением или задайте вопрос в чате.
Перевод страницы в Яндекс Браузере
Вернемся к функциям для тех, кто не владеет иностранными языками достаточно хорошо. Яндекс Браузер переводит не только видео, но и веб-страницы. Научившись, вы сможете читать веб-страницы на любом языке. Просто откройте меню веб-браузера и нажмите на кнопку «Перевод страницы».
Теперь незнание иностранного языка больше не является препятствием
Вы также можете поручить перевод автоматически или полуавтоматически. Для этого необходимо активировать опцию «Автоматический перевод страницы» или «Предлагать перевести страницу» в настройках браузера Яндекс. В первом случае сайт будет переведен на русский язык, а во втором случае на экране появится кнопка переводчика.
Вы можете отключить автоматический перевод
Яндекс Браузер переводит не только страницы, но и изображения. Как и в случае с текстом, перевод может быть автоматическим или полуавтоматическим. Вы сами решаете, какой вариант для вас удобнее.
🔥 Загляните на наш канал «Сундук Али Бабы», где мы собрали лучшие товары с AliExpress.
Чтение страниц Яндекс
К сожалению, нам не всегда удобно получать текстовую информацию. Особенно когда глаза закрываются поздно вечером, а сил хватает только на прослушивание подкаста. В такой ситуации на помощь приходит еще одна полезная функция Яндекс Браузера — чтение вслух. Просто нажмите на значок наушников, чтобы Алиса прочитала вам содержание страницы.
Алиса продолжает читать текст, когда вы закрываете браузер.
Если значок не появляется или если вы хотите удалить надоедливый значок наушников, следуйте приведенным ниже инструкциям:
- Откройте настройки браузера Яндекс.
- Откройте приложение Яндекс и откройте браузер Яндекс.
- Чтобы включить или выключить функцию «Чтение страниц», перейдите к разделу «Включить или выключить».
Кнопку наушников можно снять в любой момент
Помните, что эта функция поддерживается голосовым помощником Алиса, к которому вы можете обратиться в любое время. Произнесите фразу «Привет, Алиса» или нажмите кнопку вызова виртуального помощника.
Как архитектурно устроен сервис потокового перевода
Когда вы смотрите программу, браузер ищет в потоковой службе (например, YouTube) новые видео- и аудиоклипы; если они доступны, он загружает их и затем воспроизводит по порядку.
Когда пользователь нажимает на кнопку перевода потока, Яндекс Браузер запрашивает у своего бэкенда ссылку на поток с переведенной звуковой дорожкой. Этот трек накладывается браузером на основной трек.
В отличие от видео по требованию (т.е. перевода уже готовых клипов), поток обрабатывается переводчиком на протяжении всего времени его существования. Загрузчик потока считывает аудиопоток и отправляет его на обработку в ML-конвейер, элементы которого мы рассмотрели выше.
Существует несколько способов организации взаимодействия между элементами. Мы выбрали очереди сообщений, где каждый элемент организован как отдельная служба:
- Запустить все модели на одном компьютере проблематично, поскольку они просто не помещаются в памяти или требуют очень специфической конфигурации оборудования.
- Требуется балансировка нагрузки и горизонтальное масштабирование. Например, службы перевода и синтеза имеют разную пропускную способность, поэтому количество копий может быть разным.
- Иногда сервисы выходят из строя (нехватка памяти на GPU, утечка памяти или просто отключение питания в центре обработки данных), и очереди обеспечивают механизм повторных попыток.
Полученный аудиопоток необходимо передать пользователю. Именно здесь вступает в дело отправитель потока — он упаковывает аудиосегменты в протокол потока, а клиент считывает этот поток через соединение.
Что дальше
В настоящее время мы передаем поток со средней задержкой в 30-50 секунд. Иногда мы превышаем этот диапазон, но не слишком сильно: Типичное отклонение составляет около 5 секунд.
Самая большая сложность при потоковом переводе — обеспечить постоянную задержку. Простой пример: вы запустили поток и получили перевод через 15 секунд. Если вы продолжите наблюдать, рано или поздно одной из моделей понадобится больше контекста — например, если диктор произносит длинное предложение без пауз, нейронная сеть попытается понять все предложение целиком. Затем задержка увеличивается, возможно, еще на десять секунд. Чтобы избежать такой возможности, лучше обеспечить немного большую задержку в начале.
Наша общая цель — сократить задержку примерно до 15 секунд. Это немного длиннее, чем современный перевод, но достаточно для стриминга, где ведущие общаются с аудиторией — например, на Twitch.
