Некоммерческая компания OpenAI выпустила платформу Universe, которая позволит системам искусственного интеллекта обучаться, играя в компьютерные игры и получая награду за успешно пройденные испытания. Как сообщает MIT Technology Review, в Universe собраны более тысячи «виртуальных миров». Новая платформа должна помочь справиться с проблемой применения знаний, полученных при решении одной задачи, для решения других, но похожих задач (transfer learning).
Метод машинного обучения, в рамках которого искусственный интеллект совершенствует свою работу, взаимодействуя с некоторой незнакомой ему средой и получая от нее вознаграждение или штраф, называется обучением с подкреплением. Этот алгоритм хорошо показал себя в различных сложных областях, например в робототехнике или в играх (AlphaGo). Тем не менее, на сегодняшний день существует очень мало общедоступных платформ, которые бы могли использоваться исследователями для обучения своих систем, поэтому исследовательская компания OpenAI выпустила Universe.
В состав новой платформы войдут тысячи виртуальных сред, с помощью которых искусственный интеллект будет обучаться выполнению самых разных задач. Так, компьютер сможет поиграть в Grand Theft Auto 5 или в игры Atari, а также выполнить последовательность действий в браузере (например найти необходимый авиарейс). Для этого он будет, как и человек, использовать мышь и клавиатуру, правда не нажимая на них, а посылая им сигналы через систему удаленного доступа VNC. Награда в Universe зависит от задачи, которую решает искусственный интеллект: например, в играх позитивным откликом среды может быть переход на следующий уровень.
Сотрудники OpenAI надеются, что с помощью их платформы системы искусственного интеллекта научатся использовать полученный ранее в Universe опыт для того, чтобы быстро адаптироваться к новой, более сложной среде. «Такой алгоритм может пригодиться в робототехнике, обработке естественного языка или где-нибудь еще», — отмечает Илья Суцкевер, директор по исследованиям в OpenAI. Кроме того, в компании ожидают, что пользователи помогут развить платформу, обучая с ее помощью свои программы, встраивая в Universe новые среды и играя в игры для того, чтобы расширить базу данных.
Несколько дней назад Google DeepMind также объявила об открытии новой платформы для тренировки искусственного интеллекта. С ее помощью он сможет обучаться взаимодействию с трехмерной виртуальной средой. Недавно такую задачу решала система, также созданная в лаборатории DeepMind: совершая определенные действия в виртуальном мире, она научилась определять характеристики объектов — в частности, их вес и количество.
Кристина Уласович
