Подделка голоса нейросетью

Тема в разделе "Обсуждение технологий", создана пользователем Gazon671, 23 дек 2019.

  1. Gazon671

    Gazon671 Гардемарин
    Участник

    Репутация:
    10
    Регистрация:
    6 янв 2017
    Сообщения:
    139
    Баллы:
    18
    1
    Оценки:
    +9 / -1
    Депозит:
    0 BTC
    Гарант сделок
    0
    Источник


    Способов идентифицировать человека по голосу появляется все больше. И параллельно исследователи придумывают, как обойти эти механизмы — и для защиты собственной персональной информации, и для взлома защищенных таким образом систем. Я решил разобраться в самых последних достижениях ученых в этой сфере, чтобы об этом рассказать вам.

    Генерация голоса
    Голос человека — результат движения связок, языка, губ. В распоряжении компьютера только числа, изображающие записанную микрофоном волну. Как же компьютер создает звук, который мы можем услышать из динамиков или наушников?

    Текст в речь
    Один из самых популярных и исследованных методов генерации звуков — прямое преобразование текста, который нужно воспроизвести, в звук. Самые первые программы такого рода склеивали отдельные буквы в слова, а слова — в предложения.

    С развитием программ-синтезаторов набор заранее записанных на микрофон букв стал набором слогов, а затем и целых слов.

    Преимущества таких утилит очевидны: они просты в написании, использовании, поддержке, могут воспроизводить все слова, какие только есть в языке, предсказуемы — все это в свое время стало причиной их коммерческого использования. Но качество голоса, созданного таким методом, оставляет желать лучшего. Все мы помним отличительные черты такого генератора — бесчувственная речь, неправильное ударение, оторванные друг от друга слова и буквы.

    Звуки в речь
    Этот способ генерации речи относительно быстро заменил собой первый, поскольку лучше имитировал человеческую речь: мы произносим не буквы, а звуки. Именно поэтому системы, основанные на

    Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

    — IPA, более качественны и приятны на слух.

    В основу этого метода легли заранее записанные в студии отдельные звуки, которые склеиваются в слова. По сравнению с первым методом заметно качественное улучшение: вместо простого склеивания аудиодорожек используются методы смешивания звуков как на основе математических законов, так и на основе нейронных сетей.

    Речь в речь
    Относительно новый подход полностью основан на нейронных сетях. Рекурсивная архитектура

    Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

    , построенная исследователями из DeepMind, позволяет преобразовывать звук или текст в другой звук напрямую, без привлечения заранее записанных строительных блоков (

    Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

    ).
    Ключ к этой технологии — правильное использование рекурсивных нейронов

    Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

    , которые сохраняют свое состояние не только на уровне каждой отдельной клетки нейронной сети, но и на уровне всего слоя.

    [​IMG]

    Схема работы WaveNet

    В целом эта архитектура работает с любым видом звуковой волны, вне зависимости от того, музыка это или голос человека.

    На основе WaveNet есть несколько проектов.

    • Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

      — уничтожение шумов в записи голоса;
    • Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

      (

      Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

      ) — генерация звука из мел-спектрограммы;
    • Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

      — улучшение качества голоса в записи.
    Для воссоздания речи такие системы используют генераторы звуковой нотации из текста и генераторы интонаций (ударения, паузы), чтобы создать натурально звучащий голос.

    Это самая передовая технология создания речи: она не просто склеивает или смешивает непонятные машине звуки, но самостоятельно создает переходы между ними, делает паузы между словами, меняет высоту, силу и тембр голоса в угоду правильному произношению — или любой другой цели.

    Создание поддельного голоса
    Для самой простой идентификации, про которую я рассказывал в своей предыдущей статье, подойдет практически любой метод — особенно удачливым хакерам может хватить даже необработанных пяти секунд записанного голоса. Но для обхода более серьезной системы, построенной, например, на нейросетях, нам понадобится настоящий, качественный генератор голоса.

    Принцип работы имитатора голоса
    Для создания правдоподобной модели «голос в голос», основанной на WaveNet, потребуется множество усилий: нужно записать большое количество текста, сказанного двумя разными людьми, причем так, чтобы все звуки совпадали секунда в секунду, — а сделать это сложновато. Однако есть и другой метод.

    Основываясь все на тех же принципах, что и технология синтеза звука, можно достичь не менее реалистичной передачи всех параметров голоса. Так, была создана

    Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

    на основе небольшой записи речи. Именно ее мы с тобой и используем.

    Сама программа состоит из нескольких важных частей, которые работают последовательно, поэтому разберемся поэтапно.

    Кодирование голоса
    Голос каждого человека обладает рядом характеристик — их не всегда можно распознать на слух, но они важны. Чтобы точно отделять одного говорящего от другого, будет правильным создать специальную нейронную сеть, формирующую свои наборы признаков для разных людей.

    Этот кодировщик позволяет в дальнейшем не только переносить голос, но и сравнивать результаты с желаемыми.
    [​IMG]
    Так выглядят 256 характеристик голоса

    Создание спектрограммы
    На основе этих характеристик можно из текста создать мел-спектрограмму звука. Этим занимается синтезатор, в основе которого лежит Tacotron 2, использующий WaveNet.
    [​IMG]
    Пример сгенерированной спектрограммы
    Сгенерированная спектрограмма содержит всю информацию о паузах, звуках и произношении, и в ней уже заложены все заранее вычисленные характеристики голоса.

    Синтез звука
    Теперь другая нейронная сеть — основанная на

    Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

    — будет постепенно создавать из мел-спектрограммы звуковую волну. Эта звуковая волна и станет воспроизводиться как готовый звук.

    Все характеристики основного голоса сохраняются в синтезированном звуке, который, пусть и не без трудностей, воссоздает исходный голос человека на любом тексте.

    Тестирование метода
    Теперь, зная, как создать правдоподобную имитацию голоса, давайте попробуем применить это на практике. В прошлой статье я рассказывал про два очень простых, но рабочих метода идентификации человека по голосу: с использованием анализа мел-кепстральных коэффициентов и с помощью нейронных сетей, специально обученных определять одного человека. Давайте узнаем, насколько хорошо мы можем обмануть эти системы поддельными записями.

    Возьмем пятисекундную запись голоса мужчины и создадим две записи с помощью нашего инструмента.

    Сравним эти записи с помощью мел-кепстральных коэффициентов.
    [​IMG]
    Вид коэффициентов на графике

    Разница в коэффициентах также видна и в числах:

    Синтез_1 - оригинал: 0.38612951111628727
    Синтез_2 - оригинал: 0.3594987201660116
    Как же отреагирует на такую хорошую подделку нейронная сеть?

    Синтез_1 - оригинал: 89.3%
    Синтез_2 - оригинал: 86.9%

    Убедить нейросеть оказалось возможно, но не в совершенстве. Серьезные системы безопасности, которые установлены, например, в банках, скорее всего, смогут детектировать подделку, но человек, тем более по телефону, вряд ли сумеет отличить настоящего собеседника от его компьютерной имитации.

    Выводы
    Подделать голос сейчас уже не так сложно, как было раньше, а это открывает большие возможности не только для хакеров, но и для создателей контента:

    Это содержимое защищено. Для просмотра содержимого Вам необходимо войти или зарегистрироваться.

    смогут сделать качественную и дешевую озвучку, аниматоры — озвучить своих персонажей, а режиссеры фильмов — снять достоверную документалку.

    И пусть технологии качественного синтеза речи еще только развиваются, но их потенциал уже сейчас захватывает дух. В скором времени все голосовые помощники обретут свой личный голос — не металлический, холодный, а наполненный эмоциями и чувствами; чат с техподдержкой перестанет раздражать, а вы сможете заставить свой телефон отвечать на неприятные звонки вместо себя.
     
Похожие темы
  1. Zbs
    Ответов:
    0
    Просмотров:
    223
  2. boba
    Ответов:
    9
    Просмотров:
    1.247
  3. dima1997kochut
    Ответов:
    5
    Просмотров:
    745
  4. Amstel
    Ответов:
    4
    Просмотров:
    578
  5. SKYNET
    Ответов:
    13
    Просмотров:
    530
Загрузка...
  • О нашем сайте

    piratebuhta.pw это уникальный проект посвященный всем видам заработка в сети, как легальным так и криминальным. Здесь вы сможете ознакомиться со всеми видами обманов и приемов которые используют мошенники, дабы в дальнейшем обезопасить себя.
  • Дисклаймер

    Администрация не несёт никакой ответственности за публикации на данном форуме. Если Вы считаете, что в темах и сообщениях может содержаться информация, запрещённая законами, а так же УК РФ, просим незамедлительно сообщить Администрации.