Технологию обмана нейросетей перенесли в офлайн

Технологию обмана нейросетей перенесли в офлайн

Сотрудники Google Brain и исследовательской компании OpenAI создали метод обмана распознающих изображения нейросетей, который работает даже в офлайне — получаемые им изображения обманывают компьютер не только когда их напрямую «скармливают» нейросети, но и тогда, когда их распечатывают, фотографируют и только потом пытаются распознать. Описание нового метода и исследование его применимости опубликовано в архиве препринтов arXive.org

Речь идет о изображениях-обманках (adversarial examples), которые можно сделать на основе любой исходной картинки. Для человека такие изображения почти не отличимы от оригинала, однако в них внесены некоторые изменения, которые существенно усложняют их распознавание нейросетью. Потенциально, такие изображения можно использовать для обхода автоматических фильтров спама, систем распознавания лиц или для подделки биометрии.

Методы создания обманок для нейросетей разного типа (распознающих не только изображения, но и, например, звуки) исследуются как минимум с 2004 года. Традиционно для этого используются соперничающие нейросети, одна из которых стемится создать обманку, а другая — правильно ее идентифицировать (отсюда терминология adversarial examples, т. е. соперничающих примеров). Однако важные практические результаты в этой области получены только в последние несколько лет. Например, в одном из исследований ученым удалось модифицировать музыкальные аудизаписи таким образом, что нейросеть смартфона могла их идентифицировать и исполнять как голосовые команды, в то время как человек вообще не замечал постороннего вмешательства в музыку.

В области распознавания изображений подобные эксперименты также уже проводились, однако до сих пор они преимущественно оставались in silico, то есть изображения-обманки напрямую передавали нейросети для распознавания. Однако технология создания обманок подразумевает введение очень тонких, незаметных изменений, которые могут теряться при масштабировании, затенении, обесцвечивании и других искажениях, которые неизбежно появляются при фотографировании через камеру. Поэтому неизвестно, насколько создание обманок может быть опасно для нейросетей в реальной жизни. В новой работе ученые исследовали устойчивоть существующих методов создания обманок к подобным искажениям и разработали новый алгоритм, который делает обманки гораздо эффективнее известных аналогов.

За основу в работе были взяты изображения из стандартной базы ImageNet, которые ученые модифицировали одним из трех алгоритмов и затем отдавали на распознавание неросети Google’s Inception v3. Часть изображений нейросеть получала напрямую, часть авторы статьи распечатывали на бумаге и фотографировали на камеру современного смартфона. В работе ученые проверяли, как влияет на уровень ошибок нейросети не только тип алгоритма, но и степень контрастности, яркости и «замыленности» снимков.

Что касается эффективности разных методов создания обманок, то она оказалась весьма неодинаковой для простых-и-быстрых и сложных-и-медленных алгоритмов. Наиболее эффективные обманки производил метод, который не просто увеличивал энтропию снимка, но путем внесения мелких изменений направлял нейросеть на наиболее далекий от оригинала предмет. «Традиционные методы [создания обманок] дают неинтересные ошибки вроде определения ездовых собах одной породы как ездовых собак другой породы. [Наш новый метод наименее похожего класса] дает гораздо более интересные ошибки вроде распознавания собаки как аэроплана» — пишут авторы в статье.

Александр Ершов



N+1

Похожие новости:
Google отказалась от платформы дополненной реальности Tango в пользу ARCore
Google прекращает разработку проекта дополненной реальности Tango, вместо этого компания сосредоточится на развитии платформы ARCore. Официально поддержка Project Tango закончится в марте 2018 года, сообщается в твиттере проекта.Технология дополненной реальности Tango долгое время ..
2017-12-18 3835 0 Интернет, IT
0
Google запустил сервис трансляции музыки через интернет
Google запустил сервис Google Cast, который позволит запускать выбранные пользователем композиции с колонок, подключенных к интернету. Об этом сообщается в блоге компании. Google Cast позволит запустить воспроизведение аудиоряда на колонках и медиаплеерах, подключенных к интернету. Для запуска аудиоряда могут ..
2015-01-09 5588 0 Интернет, IT
0
Oracle и Microsoft объединяют усилия
Генеральный директор Microsoft Стив Балмер и президент Oracle Марк Херд на следующей неделе проведут совместную пресс-конференцию, которая пройдет всего за два дня до начала конференции разработчиков в Сан-Франциско. Как заявил генеральный директор Oracle Ларри Эллисон, во время будущей пресс-конференции, ..
2013-06-22 1510 0 Интернет, IT
0
Facebook проверяет подозрительные разговоры пользователей
Социальная сеть использует систему, которая сканирует разговоры пользователей для предупреждения незаконной деятельности. О подозрительных беседах сотрудники Facebook сразу же сообщают в полицию. Социальная сеть использует технологию для сканирования чатов на определенные фразы и лексику, которые могут указывать на то, что готовится ..
2012-07-16 1805 0 Интернет, IT
0
ЖЖ отказывается от рекламы и переходит в XXI век
Новое руководство сервиса Livejournal объявило о радикальных изменениях: сервис больше не будет зарабатывать на рекламе. Это, в свою очередь, позволит перевести Livejournal на используемую популярными социальными сетями технологию Ajax. О планах развития сервиса Livejournal («Живой журнал», ..
2011-11-21 1785 0 Интернет, IT
0
Facebook хочет купить сервис распознавания лиц
Социальная сеть Facebook ведет переговоры по покупке Face.com — разработчика технологии распознавания лиц на фотографиях. Сделка оценивается на сумму от 80 миллионов до 100 миллионов долларов, пишет блог The Next Web со ссылкой на израильскую газету Calcalist. Официально эти данные не подтверждаются. Среди инвесторов Face.com ..
2012-05-29 2234 0 Интернет, IT
0
Создан биткоин-паспорт гражданина мира
Разработчик Кристофер Эллис создал программное обеспечение, которое позволяет любому создать паспорт Гражданина мира. ПО использует PGP программное шифрование и технологию блокчейн, которые помогают создать идентификационный документ. Разработчик Кристофер Эллис создал программное обеспечение, которое позволяет ..
2014-11-03 1929 0 Интернет, IT
0
Яндекс купил стартап и открыл исследовательский центр
Российская компания "Яндекс" сообщила во вторник, 18 марта, о приобретении израильской стартап-компании KitLocate, разработавшей технологию сбора информации о месторасположении мобильных аппаратов без расхода заряда батареи. Согласно сообщению пресс-службы "Яндекс", сотрудники KitLocate в полном составе (8 человек) были приняты в штат ..
2014-03-18 1799 0 Интернет, IT
0
Выходит девятая версия Firefox
Сегодня, 20 декабря, сообщество Mozilla начинает распространение девятой версии Firefox для операционных систем Windows, Mac OS X и Linux.Основные изменения в браузере связаны с повышением быстродействия, надёжности и улучшением совместимости с современными веб-стандартами. Разработчики реализовали технологию Type Inference, обеспечивающую существенный ..
2011-12-21 1874 0 Интернет, IT
0
Yota запустила LTE нового поколения первой в мире
Российская компания Yota Networks первой в мире реализовала поддержку беспроводной передачи данных по технологии LTE Advanced. Потолок скорости такого сверхбыстрого интернета — 300 мегабит в секунду. В настоящее время технология LTE Advanced включена на 11 базовых станциях в  московской сети ..
2012-10-9 1996 0 Интернет, IT
0
Yahoo начнет показывать рекламу Google
Компания Yahoo объявила о заключении партнерства с Google на рынке контекстной рекламы. Для размещения объявлений на своих сервисах по всему миру Yahoo будет использовать инструменты AdSense и AdMob. "Добавив Google в наш список партнеров мирового класса по контекстной рекламе, мы сможем расширить ..
2013-02-7 1831 0 Интернет, IT
20
Skype заподозрили в прослушке пользователей
В Сети появилась информация, что, после многих лет противостояния, Skype предоставил правоохранительным органам доступ к разговорам пользователей. Однако представители сервиса это отрицают, ссылаясь на техническую невозможность такой прослушки. Напомним, Skype всегда утверждала, что ее "пиринговая архитектура и техники шифрования" ..
2012-07-24 1744 0 Интернет, IT
0
«Лаборатория Касперского» запатентовала в США конфиденциальный поиск угроз
«Лаборатория Касперского» получила патент от Бюро по регистрации патентов и товарных знаков США на технологию, позволяющую поиска угроз в IT-инфраструктурах компаний без доступа к конфиденциальным сведениям. Об этом говорится в сообщении компании. В «Лаборатории Касперского» «Ленте.ру» сообщили, что патент был зарегистрирован 27 мая 2014 года. Поскольку ..
2014-07-02 1800 0 Интернет, IT
0
Ученые планируют ускорить интернет в две тысячи раз
Группа специалистов из британского Университета Бангора начала разрабатывать новую технологию, которая позволит ускорить домашний доступ в интернет до 20 гигабит в секунду. Это значит, что скорость повысится приблизительно до 20 гигабит в секунду, если сравнивать данный показатель с тем, что существует сейчас. ..
2012-11-9 1579 0 Интернет, IT
0
Skype тестирует 3D-звонки
VoIP-сервис Skype, которому накануне исполнилось 10 лет, подтвердил разработку видеозвонков в формате 3D. Как сообщил вице-президент Microsoft Марк Джилетт, владеющей Skype с 2011 года, его компания уже создала такую технологию и успешно протестировала ее в лабораторных условиях. Тем не менее, возможность общаться ..
2013-08-31 2050 0 Интернет, IT
0