Компьютер научили читать по губам

Компьютер научили читать по губам

Ученые из университета Ист-Англии создали систему машинного обучения, которая умеет читать по губам. Работа была представлена на конференции ICASSP в Шанхае, детали исследования редакция N+1 выяснила у одного из авторов исследования Хелен Бир (Helen Bear).

Система, созданная программистами следит за речью человека при помощи видеокамеры.Для обучения ее классификаторов авторы работы использовали скрытую марковскую модель, а также разработали новый метод, который будет потенциально применим для нейросетей.

Чтобы научить систему читать по губам, исследователи разделили речь на две составляющие: фонемы и виземы, которые являются визуальным эквивалентом фонем. Основная сложность заключалась в том, что фонем в речи больше, чем визем, поэтому ученые создали двухуровневую иерархическую структуру.

Сначала они обучали классификаторы соотносить виземы с различными звуками, в качестве материала для обучения используя записи речи людей. Затем, ученые увеличивали количество классификаторов. Например, если виземе V1 соответствуют фонемы P1, P2 и P3, то в системе должно существовать три копии виземы V1. После этого классификаторы обучались второй раз, после чего система уже могла распознавать речь.

Работоспособность системы специалисты проверяли на двух моделях. Первая подразумевала «языковую» модель, то есть распознавание непрерывной речи, а вторая — «фонемную» модель. В обоих случаях процент успеха пока достаточно невелик — слова система распознает с точностью до 10-15 процентов, фонемы — до 25 процентов. Тем не менее, ученые замечают, что это значительное продвижение по сравнению с прошлыми результатами.

В будущем исследователи планируют усовершенствовать свою технологию, которая сможет найти применение для таких ситуаций, когда голоса на записи плохо различимы или отсутствует или испорчена аудиодорожка. «Потенциально, система чтения по губам может быть применена для различных целей, от развлечения до расследования преступлений» — замечает один из авторов работы.

Ранее британские исследователи во главе с Эндрю Симпсоном (Andrew Simpson) из Университета Суррея создали искусственную нейронную сеть, вычленяющую голос из посторонних шумов. Эта задача является первым шагом к решению проблемы так называемого «эффекта вечеринки».

Кристина Уласович


N+1

Похожие новости:
Слухи назначили новую Xbox на осень 2013 года
Игровая консоль Xbox 720 от Microsoft выйдет осенью следующего года. Об этом анонимные источники рассказали изданию IGN. По их словам, новая платформа для видеоигр будет в шесть раз производительнее, чем нынешняя модель, Xbox 360, и на 20% быстрее, чем грядущая консоль Wii U от Nintendo. Первая версия ..
2012-01-25 1649 0 Электроника
0
Будущая Xbox получит дисковод Blu-ray и сдвоенную графику
В начинку новой игровой консоли Microsoft войдет привод Blu-ray и сразу два графических процессора. Как сообщает блог VG247 со ссылкой на собственные источники, чипы внутри преемника Xbox 360 по мощности не будут уступать AMD серии Radeon HD 7000 (Southern Islands). Процессор игровой платформы, ..
2012-04-3 1408 0 Электроника
0
Контроллер Kinect встроят в ноутбуки
Бесконтактный контроллер Kinect, изначально разработанный Microsoft для игровой консоли Xbox 360, появится в ноутбуках. Как сообщает газета The Daily, чьи журналисты ознакомились с двумя прототипами таких устройств, датчики глубины Kinect были встроены в лэптоп от ASUS с еще не вышедшей операционной ..
2012-01-30 1714 0 Электроника
0
Новая Xbox не появится до конца 2013 года
Игровая консоль Xbox следующего поколения не будет представлена на ежегодной выставке игровой индустрии Electronic Entertainment Expo (E3), которая пройдет с 5 по 7 июня в Лос-Анджелесе. Как пишет блог Kotaku со ссылкой на представителей Microsoft, компания решила развивать успех нынешней ..
2012-03-19 1379 0 Электроника
0
Летающих нанороботов научили играть музыку
Сотрудники Пенсильванского университета (США) научили стаю летающих нанороботов играть заглавную мелодию из фильмов про Джеймса Бонда. Своеобразный "концерт" мини-роботы сыграли на технологической конференции TED в штате Калифорния. Проект с квадрокоптерами (мини-ЛА с четырьмя роторами) создали сотрудники роботехнической лаборатории ..
2012-03-1 1783 0 Электроника
0
Китайцы создали сверхкомпактный компьютер
Китайцы продемонстрировали разработанную ими новинку – портативный компьютер, состоящий из складной клавиатуры, микромонитора со встроенным процессором и мыши. Серийное производство сверхкомпактного компьютера запланировано на ближайшее время.Источник: mobilnik.ua ..
2012-01-12 2607 0 Электроника
0
Бесшумный компьютер замаскировали под обогреватель
Мощные компьютеры не только быстро обрабатывают информацию, но и выделяют немало тепла. Эту особенность решил использовать известный дизайнер Джефри Стивенсон. Он создал бесшумный компьютер, работающий без вентилятора и выглядящий как обогреватель. Необычный проект получил название Ayr. Система собрана на базе ..
2013-02-13 1612 0 Электроника
0
Ученые создали самообучающийся фотонный компьютер
Оптический компьютер (или фотонный компьютер) представляет собой устройство, которое использует фотон видимого света или инфракрасные ( ИК ) лучи, а не электрический ток, для выполнения цифровых вычислений. Журнал Nature опубликовал новые результаты испанских ученых  под руководством профессора Дэниела Бруннера, ..
2013-01-18 2010 0 Электроника
0
Американцы научили микросхемы регенерации
Ученые Калифорнийского технологического института (California Institute of Technology, Caltech) научили микросхемы восстанавливаться после повреждения. Об этом сообщается в пресс-релизе Caltech. Большинству современных микрочипов, поясняется в пресс-релизе, достаточно небольшого сбоя для выхода из строя. Поэтому специалисты Caltech решили ..
2013-03-14 1687 0 Электроника
0
Детский компьютер за 35 долларов поступил в продажу
Сегодня в Великобритании начались продажи самого дешевого в мире компьютера под названием "Разбери пай" ("малиновый пирог"). Стоимость этой модели компьютера всего 35 долларов и предназначен он, по задумке разработчиков, для того, чтобы дети могли с его помощью научиться основам программирования ..
2012-02-29 2002 0 Электроника
0
Представлен миниатюрный компьютер стоимостью 600 долларов
На страницах проекта Indiegogo опубликован проект небольшого компьютера, получившего название Mi World Portable Computing System, который должен появиться на рынке уже в середине 2014 года. Новый компьютерОдна из примечательных особенностей новинки – небольшие габариты, так как компьютер может с легкостью ..
2014-03-30 1726 0 Электроника
0
Компания D-Wave представила новый квантовый компьютер
D-Wave Systems на конференции в Сан-Франциско показал новый квантовый компьютер, содержащий две тысячи кубитов — квантовых аналогов классических битов. Об этом сообщается на сайте компании.По сравнению с предыдущим поколением компьютеров D-Wave 2X в новом устройстве в два раза больше кубитов, а производительность ..
2016-10-01 1937 0 Электроника
0
Новый букридер Nook можно читать в темноте
Компания Barnes & Noble представила обновленную версию букридера Nook Simple Touch с технологией GlowLight. Особенностью нового ридера стал дисплей на основе "электронных чернил" (E-ink) со встроенной подсветкой, которая позволяет читать при плохом освещении или в полной ..
2012-04-13 2335 0 Электроника
0
Amiga Mini: как Mac Mini, но мощнее
Компания Commodore USA выпустила в продажу мини-компьютер Amiga Mini. Неттоп выполнен в корпусе из анодированного алюминия с закругленными углами. Внешне он очень похож на компактный ПК Mac mini от Apple. Аппарат укомплектован четырехъядерным процессором Intel Core i7-2700K на частоте 3,5 ГГц, портами ..
2012-03-23 2017 0 Электроника
0
Utilite: ультракомпактный ПК за 100 долларов
Новый Linux-компьютер Utilite на мобильных ARM-чипах стартует в продажу уже в следующем месяце по цене в 100 долларов. Гаджет имеет процессор Cortex A9 и 4 гигабайта оперативной памяти. Utilite был разработан израильской компанией CompuLab. Несмотря на то что компьютер очень дешевый, он вполне функционален. Устройство получило ..
2013-07-17 1868 0 Электроника
1