Новости — подборка навыков Алисы, голосового помощника от Яндекса. Утреннее шоу — это развлекательная программа, где «Алиса» выступает в роли ведущей. Чтобы настроить «Новости колонка Алиса», вам нужно открыть мобильное приложение или сайт Яндекс. — Выбирайте, что и в каком порядке слушать в Утреннем шоу Алисы: подкасты на избранные темы, прогноз погоды, навыки, треки или новости из определённых источников.
Вышло большое обновление Алисы. Смотри, что теперь умеет твоя Яндекс Станция
— Выбирайте, что и в каком порядке слушать в Утреннем шоу Алисы: подкасты на избранные темы, прогноз погоды, навыки, треки или новости из определённых источников. Добавьте в голосовой помощник Алису от Яндекса новые навыки на тему — Новости. «Утреннее шоу» — это развлекательная программа с «Алисой» в роли ведущей. Виртуальный помощник читает новости, включает музыку и зачитывает истории на разные темы. Как включить новости в Яндекс Браузере. Множество полезных навыков для голосового помощника ждут вас в Каталоге навыков Алисы.
Утреннее шоу Алисы теперь можно настроить на свой вкус
Утреннее шоу — это такой формат, который позволяет собрать воедино то, что любишь. Несложные манипуляции с настройками — и человек получает именно то, что хочет. Думаю, новую возможность особенно оценят авторы подкастов, у которых появилась ещё одна площадка», — отметил Андрей Законов, руководитель продукта голосового помощника «Алиса».
Причём их зачитывает ведущий. Голосовой помощник следит за новостными выпусками девяти радиостанций. А утреннее шоу — это такой формат, который позволяет собрать воедино то, что любишь. Несложные манипуляции с настройками — и человек получает именно то, что хочет. Думаю, новую возможность особенно оценят авторы подкастов, у которых появилась ещё одна площадка», — рассказал Андрей Законов, руководитель голосового помощника.
Радионяня mode on Теперь где бы вы ни были — в соседней комнате или отошли по делам, оставив ребенка с бабушкой, няней и т. Активируйте функцию «Радионяни» на «Яндекс Станции», чтобы слушать звуки из детской прямо на своем смартфоне, где бы вы ни находились. Пригласите в «Дом с Алисой» всех, кто сможет включать этот режим — для этого в приложении выберите нужную «Станцию» и зайдите в раздел «Радионяня». Точное место отправителя сообщения Теперь Алиса перед тем, как прочитать текст сообщения, которые родные отправили на вашу «Станцию», будет озвучивать и место, откуда пришло сообщение: из какой комнаты или «Дома». Звонки без постороннего шума С помощью «Станций» можно не только отправлять сообщения, но и звонить. Теперь Алиса будет подавлять лишний шум, чтобы вашему разговору ничего не мешало.
Радионяня для каждого Режим радионяни на «Яндекс Станции» теперь доступен для каждого члена семьи. Сообщения между «Станциями» Функция отправки сообщений между устройствами улучшена тем, что теперь «Алиса» указывает, откуда именно пришло сообщение — с какой комнаты или «Дома». Звонки без постороннего шума Новая функция подавления посторонних звуков доступна для некоторых моделей «Станций», что улучшает качество голосовой связи между пользователями. Для других моделей улучшение обещают добавить позже. Обновления программ, что нового.
Как взглянуть на «Алису» по-новому? 5 необычных навыков для «Яндекс.Станции»
Это несколько месяцев непрерывной работы с актрисой Татьяной Шитовой в студии. При этом нужно не просто «прочитать текст по листочку». Чем более нейтрально будет звучать голос, тем лучше. Обычно от актёров ждут эмоциональности, проявления темперамента в своей речи. У нас ровно обратная задача, потому что нужны универсальные «кубики» для создания произвольных фраз. Вот характерный пример работы синтеза: В этом главный недостаток метода unit selection: несмотря на все усилия, фрагменты речи не будут идеально соответствовать друг другу по эмоциям и стилю. Из-за этого сгенерированная речь Алисы постоянно «переключалась» между ними. На коротких фразах это не всегда заметно, но если хотите услышать произвольный ответ длиной хотя бы в пару предложений например, быстрый ответ из поиска , то недостатки подхода становятся очевидны.
В общем, unit selection перестал нас устраивать и нужно было развиваться дальше. Иногда они возвращаются: опять параметрический синтез В результате мы вернулись к архитектуре из двух последовательных блоков: акустическая модель и вокодер. Правда, на более низком уровне обновилось примерно всё. Акустическая модель В отличие от старой параметрики, новую модель мы построили на основе seq2seq-подхода с механизмом внимания. Помните проблему с потерей контекста в нашей ранней параметрике? Если нет нормального контекста, то нет и нормальной интонации в речи. Решение пришло из машинного перевода.
Дело в том, что в машинном переводе как раз возникает проблема глобального контекста — смысл слов в разных языках может задаваться разным порядком или вообще разными структурами, поэтому порой для корректного перевода предложения нужно увидеть его целиком. Для решения этой задачи исследователи предложили механизм внимания — идея в том, чтобы рассмотреть всё предложение разом, но сфокусироваться через softmax-слой на небольшом числе «важных» токенов. При генерации каждого нового выходного токена нейросеть смотрит на обработанные токены фонемы для речевого синтеза или символы языка для перевода входа и «решает», насколько каждый из них важен на этом шаге. Оценив важность, сеть учитывает её при агрегировании результатов и получает информацию для генерации очередного токена выхода. Таким образом нейросеть может заглянуть в любой элемент входа на любом шаге и при этом не перегружается информацией, поскольку фокусируется на небольшом количестве входных токенов. Для синтеза важна подобная глобальность, так как интонация сама по себе глобальна и нужно «видеть» всё предложение, чтобы правильно его проинтонировать. На тот момент для синтеза была хорошая seq2seq-архитектура Tacotron 2 — она и легла в основу нашей акустической модели.
Мел-спектрограмма Параметрическое пространство можно сжать разными способами. Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок. Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели. Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма. Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука. Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах.
Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия». Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты. Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом.
Это полезно, потому что мы генерируем звук именно для человека, а не для машины. Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент. Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3. Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос.
Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих. Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука.
Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса. Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение.
Или резкого и холодного. Или относительно нейтрального. Чтобы определиться со стилем по умолчанию, мы устроили турнир, где судьями выступали пользователи Толоки. Там не было разметки, мы просто нашли кластеры стилей и провели между ними соревнование. Победил кластер с очень мягкой и приятной интонацией. Дальше началось самое интересное. Мы взяли образцы синтезированной «мягкой» речи Алисы и фрагменты речи актрисы Татьяны Шитовой, которые относились к более резкому стилю.
Затем эти образцы с одним и тем же текстом протестировали вслепую на толокерах. Оказалось, что люди выбирают синтезированный вариант Алисы, несмотря на более плохое качество по сравнению с реальной речью человека. В принципе, этого можно было ожидать: уверен, многие предпочтут более ласковый разговор по телефону то есть с потерей в качестве живому, но холодному общению. К примеру, так звучал резкий голос: А так — мягкий: Результаты турниров позволили нам выделить во всем обучающем датасете данные, которые относятся к стилю-победителю, и использовать для обучения только их. Благодаря этому Алиса по умолчанию стала говорить более мягким и дружелюбным голосом. Этот пример показывает, что с точки зрения восприятия важно работать не только над качеством синтеза, но и над стилем речи. После этого оставалось только обогатить Алису новыми эмоциями.
Бодрая или спокойная: управляем эмоциями Алисы Когда вы включаете утреннее шоу Алисы или запускаете автоматический перевод лекции на YouTube, то слышите разные голоса — бодрый в первом случае и более флегматичный в другом. Эту разницу сложно описать словами, но она интуитивно понятна — люди хорошо умеют распознавать эмоции и произносить один и тот же текст с разной эмоциональной окраской. Мы обучили этому навыку Алису с помощью той же разметки подсказок, которую применили для стилей. У языка есть интересное свойство — просодия , или набор элементов, которые не выражаются словами. Это особенности произношения, интенсивность, придыхание и так далее. Один текст можно произнести со множеством смыслов. Как и в случае со стилями речи, можно, например, выделить кластеры «веселая Алиса», «злая Алиса» и так далее.
Поскольку стилевой механизм отделяет просодию «как говорим» от артикуляции «что говорим» , то новую эмоцию можно получить буквально из пары часов данных. По сути, нейросети нужно только выучить стиль, а информацию о том, как читать сочетания фонем, она возьмёт из остального корпуса. Прямо сейчас доступны три эмоции. Например, часть пользователей утреннего шоу Алисы слышат бодрую эмоцию. Кроме того, её можно услышать, спросив Алису «Кем ты работаешь? Флегматичная эмоция пригодилась для перевода видео — оказалось, что голос по умолчанию слишком игривый для этой задачи. Наконец, радостная эмоция нужна для ответов Алисы на специфические запросы вроде «Давай дружить» и «Орёл или решка?
Ещё есть негативная эмоция, которую пока не знаем, как использовать — сложно представить ситуацию, когда людям понравится, что на них ругается робот. Первый корпус эмоций мы записали ещё при WaveGlow, но результат нас не устроил и выкатывать его не стали. С переходом на HiFi-GAN стало понятно, что он хорошо работает с эмоциями, это позволило запустить полноценный эмоциональный синтез. Наконец, мы решили внедрить шёпот. Когда люди обращаются к Алисе шёпотом, она должна и отвечать шёпотом — это делает её человечнее. При этом шёпот — не просто тихая речь, там слова произносятся без использования голосовых связок. Спектр звука получается совсем другим.
С одной стороны, это упрощает детекцию шёпота: по «картинке» мел-спектрограммы можно понять, где заканчивается обычная речь и начинается шепот. С другой стороны, это усложняет синтез шёпота: привычные механизмы обработки и подготовки речи перестают работать. Поэтому шёпотный синтез нельзя получить детерминированным преобразованием сигнала из речи. Так выглядят мел-спектрограммы обычной речи и шёпота при произнесении одной и той же фразы: Так звучит обычная речь: А так — шёпот: Сначала мы научили Алису понимать шёпот. Для этого обучили нейросеть различать спектры звука для обычного голоса и шёпота. Система смотрит на спектр звука и решает, когда говорят шёпотом, а когда — голосом. В процессе обучения оказалось, что спектры шёпота и речи курильщиков похожи, так что пришлось научить нейросеть их различать.
Для этого собрали больше пограничных данных с речью курильщиков и простуженных людей и донастроили нейросеть на них. Чтобы научить Алису говорить шёпотом, мы записали несколько часов шёпота речи в исполнении Татьяны Шитовой. Сложности начались уже на предобработке данных: наш VAD детектор тишины в речи сломался на шёпотных гласных — трудно отличить сказанное шёпотом «а! Починить его удалось, только совместив признаки энергии сигнала и данные от распознавания речи, при этом под шёпот конструкцию пришлось калибровать отдельно. Затем записанные данные добавили в обучающий корпус акустической модели. Мы решили рассматривать шёпот как еще один «стиль» речи или, в терминах нашего синтеза, «эмоцию». Добавив данные в трейнсет, мы дали акустической модели на вход дополнительную информацию — шёпот или эмоцию она сейчас проигрывает.
По этому входу модель научилась по команде пользователя переключаться между генерацией речи и шёпота. Сгенерированный шёпот по качеству не отличался от обычной речи. Оказалось, что ряд ошибок интонации в шёпотной речи были значительно менее ярко выражены. Этот голос будет полезен при общении с Алисой ночью, чтобы не мешать близким. Можно задавать вопросы тихим голосом и Алиса будет отвечать шёпотом. Кроме того, такой стиль ещё и звучит очень приятно — поклонники ASMR оценят. Послушайте, как шепчет Алиса: На этом мы не останавливаемся — в планах дальнейшее развитие голосового синтеза, добавление новых стилей и эмоций.
Обязательно продолжим рассказывать о том, как Алиса учится говорить по-человечески.
Вы направились на кухню, время готовить. На балконе в закрытом шкафу лежит спрятанный пакетик листиков для заварки чая. Как только Вы открыли дверь балкона - кондиционер автоматически выключился. Пришлось запускать голосом. Время отправляться на работу. Вы приняли душ под энергичную музыку которую включила умная станция по потоку рекомендаций. Геля для душа осталось не так много. Вы говорите «Алиса, добавь в список покупок: гель для душа и зубную пасту».
Когда будете возвращаться домой после работы — не забудьте открыть список покупок на телефоне. Вытяжка работает исправна. Закончив водные процедуры - время идти в коридор и одеваться. Как только вы подошли к шкафу — свет в коридоре включился. Вы собрались уходить, но заметили невыключенный свет в некоторых комнат. Возле входной двери нас ждала умная кнопка. Умные выключатели освещения для круглых подрозетников подключены через zigbee к УДЯ. Созданные мною сценарии в приложении УДЯ позволили связать все это между собой. Сценарий: Как Яндекс управляет самым простым кондиционером?
Для этого сценария используется Умный Пульт Яндекса я его приобрел за 600 рублей - вы сделали запрос и Пульт Яндекса отправил ИК сигнал на кондиционер. Яндекс Пульт поддерживает множество производителей или можно самому обучить Яндекс Пульт. Ранее: На улице жара и вы направляетесь домой. Вы сможете включить кондиционер только когда вы придёте домой. Сейчас: На улице такая же жара и также направляетесь домой. Заходите в приложение УДЯ и включаете кондиционер. Или, возможно, создали готовый сценарий как я ниже. Ну или просто ручное управление через приложение или голосом. Сценарий: Контролируем протечку воды в ванной и на кухне Ранее: Редко заглядываешь под кухонную раковину для проверки фильтров воды.
Сейчас: Датчик протечки воды всё контролирует. Если что-то произойдет - придет пуш в телеграме и колонка в спальне скажет об этом. Сценарий: Автоматическое включение света в ванной Ранее: Время поздняя ночь. Нужно сходить в ванную комнату, а телефон ещё на зарядке. Решили идти так, возможно получится нащупать выключатель света. Сейчас: Всё как и всегда, но теперь датчик движения детектик ваше движение по пути и включает свет в ванной комнате. Здесь ещё можно добавить автоотключение через 2-3 минуты, но вдруг вы ещё находитесь там? Здесь уже нужно использовать датчик присутствия - Aqara FP1. Сценарий: Неумная вытяжка в ванной становится умной Ранее: Во многих квартирах вентиляционная вытяжка работает, только когда включён свет в ванной.
А что делать, если вы помылись? Свет не отключать? Сейчас: Сделана простая автоматизация через Умный Дом Яндекса. Обычно я заранее включаю вытяжку, когда начинаю умываться и планирую в дальнейшем заходить в душ. Второй сценарий завершит работу вытяжки после понижение влажности в ванной комнате.
Она откроет тексты песен не только российских, но и зарубежных исполнителей. Кнопка «Т» в музыкальном плеере даст понять, для каких треков доступен текст. Персонализация утреннего шоу Теперь пользователь может решать, каким будет ваше утреннее шоу. Например, можно выбрать, какой контент и в каком порядке будет воспроизводиться: подкасты на разные темы, прогноз погоды, конкретные навыки, музыкальные треки или новости из определённых источников. Афиша мероприятий и новости Анонсы интересных событий в городе будут отображаться на главном экране Станции Дуо Макс.
Шёпот и эмоции в Алисе: история развития голосового синтеза Яндекса
Вы можете посмотреть на доступные навыки Алисы, чтобы узнать больше о том, что вы можете сделать с помощью Алисы. Навык «Утреннее шоу» Алисы идеально подходит для людей, которые хотят быть в курсе всех новостей и интересных мероприятий. Вы можете активировать навык голосом и получать последние новости, прогноз погоды, мероприятия в вашем городе и музыкальные и книжные рекомендации.
Умные колонки с голосовым помощником "Алиса" научились проводить утренние шоу, которые подбираются под конкретных пользователей. Об этом говорится в сообщении "Яндекса". Произнеся команду "Алиса, включи утреннее шоу! Так, например "Алиса" ставит и комментирует песни из персонального плейлиста дня на "Яндекс.
Например, это могут быть новостные сюжеты, информация об экономике, новые сведения о науке и так далее. Для настройки своего собственного утреннего шоу Алисы можно использовать официальное мобильное приложения Яндекс. Обратите внимание: В приложении Яндекс нужно авторизоваться с того аккаунта, к которому привязана Яндекс Станция. Здесь можно настроить информацию, которая будет попадать в утреннее шоу. Отметим, что настроить можно 3 типа информации: Новости. Новостной блок длится до 3 минут в рамках шоу. Тематический блок длится до 3 минут в рамках шоу.
Но для его работы необходимо иметь подписку на Яндекс Плюс. Можно сказать, что утреннее шоу от Алисы — это некая замена радиостанциям. Обратите внимание: В отличие от радиостанций, в утреннем шоу Алисы нет рекламы. Отметим, что включить утреннее шоу от Алисы можно не только утром. Оно доступно в любое время дня. При этом для шоу всегда подбираются актуальные к текущему моменту новости если в настройках указано, что шоу должно включать в себя новости. И тогда вместо мелодии будильника будет воспроизводиться шоу.
Утреннее шоу Алисы стало персональным 😎
| Вышло апрельское обновление Алисы и умных устройств Яндекса | The GEEK | Теперь навыки смогут отправлять короткий регулярный контент в утреннее шоу Алисы. |
| Алиса (голосовой помощник) — Википедия | После работы можно послушать вечернее шоу — Алиса поделится новостями и погодой на следующий день и поставит расслабляющую музыку. |
| Читает ли Алиса последние новости? Настраиваем её на телефоне и на компьютере | Чтобы запустить программу, нужно сказать: «Алиса, включи утреннее шоу!». Паузы между новостями и песнями голосовой помощник заполняет актуальной информацией. |
Утренняя Алиса. У голосового помощника Яндекса теперь своё шоу
Если на момент запуска шоу у навыка есть новая история, которую пользователь еще не слышал, она будет рассказана вместе с другими интересующими его темами например, музыкой или новостями. Ключевые особенности: Участвовать в утреннем шоу могут все навыки общего типа. Пользователь услышит конкретную историю от навыка только один раз. Если у навыка несколько актуальных историй, пользователю будет рассказана самая свежая.
Кажется, я понял Как отправить сообщение на электронную почту Иногда вставать с рабочего места бывает лень — в некоторых делах мне помогает Яндекс. Точнее, навык «Говорящая почта». Это удобный способ отправить сообщение в прямом смысле без рук.
Для этого скажите колонке «Алиса, запусти навык Говорящая почта»: запомните свой идентификатор и отправляйте сообщение другому пользователю. Послушать войс можно на смартфоне, компьютере или колонке. Еще вы можете познакомиться с кем-либо, отправив голосовое сообщение на специальный номер — об этом Алиса подробно рассказывает при запуске навыка.
Куда жаловаться на управляющую компанию Пожаловаться на работу местных служб можно с помощью Яндекс. Станции То, что у Алисы есть навык, позволяющий пожаловаться на социально-бытовые проблемы — настоящее открытие для меня. Запустите навык «Инцидент менеджмент» и далее следуйте инструкциям.
Алиса направит жалобу на дороги, благоустройство или здравоохранение в местный орган власти, отвечающий за ее решение. Как посчитать калории для себя Не знаете, сколько калорий в пище? Скажите Алисе: она посчитает все за вас и даже подскажет меню на следующий день Яндекс.
Станция — хороший помощник для тех, кто следит за своей фигурой. Скажите Алисе «Попроси умный счетчик калорий записать» и уточните блюдо. В ответ ассистент вам расскажет о содержании белков, жиров и углеводов в пище.
Голосовой помощник «Алиса» научили проводить утренние шоу, которые подстраиваются под определённого пользователя. Для активации используется команда «Алиса, включи утреннее шоу! В списке есть музыкальные темы, полезная информация, интересные данные и так далее.
Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины.
Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент. Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3. Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос.
Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих.
Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса.
Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение. В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения.
Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно. Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов.
Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex. Обычно нормализацию делают через комбинацию взвешенных трансдьюсеров FST — правила напоминают последовательность замен по регулярным выражениям, где выбирается замена, имеющая наибольший вес. Мы долго писали правила вручную, но это отнимало много сил, было очень сложно и не масштабируемо. Тогда решили перейти на трансформерную сеть, «задистиллировав» знания наших FST в нейронку. Теперь новые «правила раскрытия» можно добавлять через доливание синтетики и данных, размеченных пользователями Толоки, а сеть показывает лучшее качество, чем FST, потому что учитывает глобальный контекст.
Итак, мы научили Алису говорить с правильными интонациями, но это не сделало ее человеком — ведь в нашей речи есть еще стиль и эмоции. Работа продолжалась. С чувством, толком, расстановкой: стили голоса Алисы Один и тот же текст можно произнести десятком разных способов, при этом сам исходный текст, как правило, никаких подсказок не содержит. Если отправить такой текст в акустическую модель без дополнительных меток и обучить её на достаточно богатом различными стилями и интонациями корпусе, то модель сойдёт с ума — либо переусреднит всё к металлическому «голосу робота», либо начнёт генерировать случайный стиль на каждое предложение. Это и произошло с Алисой: в начале она воспроизводила рандомные стили в разговоре. Казалось, что у неё менялось настроение в каждом предложении.
Вот пример записи с явными перебоями в стилях: Чтобы решить проблему, мы добавили в акустическую модель стили: в процессе обучения нейросети специально ввели «утечку». Суть в том, что через очень lossy-пространство всего 16 чисел на всё предложение разрешаем сетке посмотреть на ответ — истинную мел-спектрограмму, которую ей и нужно предсказать на обучении. За счёт такой «шпаргалки» сеть не пытается выдумывать непредсказуемую по тексту компоненту, а для другой информации не хватит размерности шпаргалки. На инференсе мы генерируем стилевую подсказку, похожую на те, что были в обучающем сете. Это можно делать, взяв готовый стиль из обучающего примера или обучив специальную подсеть генерировать стили по тексту. Если эту подсеть обучить на особом подмножестве примеров, можно получить специальные стили для, скажем, мягкого или дружелюбного голоса.
Или резкого и холодного. Или относительно нейтрального. Чтобы определиться со стилем по умолчанию, мы устроили турнир, где судьями выступали пользователи Толоки.
«Яндекс» научил «Алису» вести персональное утреннее шоу
Для этого достаточно открыть приложение Яндекс и сказать: «Алиса, открой настройки шоу» или «Алиса, открой настройки новостей». После работы можно послушать вечернее шоу — Алиса поделится новостями и погодой на следующий день и поставит расслабляющую музыку. После работы можно послушать вечернее шоу — Алиса поделится новостями и погодой на следующий день и поставит расслабляющую музыку. Алиса с каждым днем становится лучше, и теперь у нее появилось собственное утреннее шоу! Каждое утро вас ждет коктейль из рассказа о погоде, персональной подборки новостей, выпуска классного подкаста и, специально подобранных под вас треков с комментариями Алисы! Множество полезных навыков для голосового помощника ждут вас в Каталоге навыков Алисы. «Мы хотим, чтобы Алиса была не только помощником, но и другом, с которым приятно проводить время. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении».
Как взглянуть на «Алису» по-новому? 5 необычных навыков для «Яндекс.Станции»
Особенностью Алисы стала личность, разработанная коллективом Яндекса вместе с журналистом и бывшим руководителем группы маркетинга компании Владимиром Гуриевым. Для настройки новостей на Яндекс Алисе необходимо открыть раздел «Интеграция» в настройках приложения. Особенностью Алисы стала личность, разработанная коллективом Яндекса вместе с журналистом и бывшим руководителем группы маркетинга компании Владимиром Гуриевым. К слову, Алиса теперь умеет вести "утренние шоу". Умная лампочка Яндекс с Алисой, цоколь E27, белая (YNDX-00501). Шаг 3: Выберите раздел «Новости». Слушать утреннее шоу Алисы Утреннее шоу Алисы поможет настроиться на день и не забыть о важном.
Голосовой помощник Алиса начала вести свое утреннее шоу
| Что нового в апреле у Алисы и умных устройств | Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро. |
| Утреннее шоу Алисы стало персональным | «Алиса, включи шоу» — для начала воспроизведения выбранного видео. |
«Алиса» научилась вести утренние шоу
| Что умеет «Яндекс-станция»: 17 полезных функций и команд для Алисы | В Алису от Яндекса добавили функцию Утреннее шоу. |
| Что умеет «Яндекс-станция»: 17 полезных функций и команд для Алисы | Утреннее шоу Алисы теперь можно настроить на свой вкус. Для этого пользователь может сам выбрать тематику новостей и подкастов. |
| Умные колонки с "Алисой" научились вести персонализированные утренние шоу - ТАСС | В конце 2020 года утреннее шоу Алисы стало персонализированным. Какие новости нужно выбирать, чтобы быть в курсе последних событий, но не утомляться излишним потоком информации? |
| Умные колонки с "Алисой" научились вести персонализированные утренние шоу - ТАСС | Для настройки новостей на Яндекс Алисе необходимо открыть раздел «Интеграция» в настройках приложения. |
Место под большое лого и рекламу навыков
Для настройки новостей на колонке Алиса Яндекс, найдите раздел «Новости» или «Информация» и выберите его. — Выбирайте, что и в каком порядке слушать в Утреннем шоу Алисы: подкасты на избранные темы, прогноз погоды, навыки, треки или новости из определённых источников. Персонализированное «Утреннее шоу» с «Алисой» (не все знают о его настройке). «Яндекс» представил апрельское обновление «Алисы» и своих умных устройств. Чтобы выбрать источник новостей, откуда Алиса будет зачитывать информацию, воспользуйтесь одним из следующих способов: скажите голосовой помощнице в приложении Яндекс фразу «Алиса, настрой новости» — выберите источник вручную в приложении Яндекс. «Яндекс» добавил возможность персональной настройки утреннего шоу голосового помощника «Алиса». Функция появилась в ассистенте в апреле этого года. «Алиса» по-прежнему умеет зачитывать по утрам актуальные новости.