PixelPlayer научили распознавать музыкальные инструменты на видео

Ученые Массачусетского технологического института (США) представили систему искусственного интеллекта PixelPlayer, которая определяет источники музыки на видео. Чтобы ее обучить, разработчики закачали 60 часов выступлений музыкантов.

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Андрей Рудибитко, Ханг Чжао, Антонио Торралба, Джошуа Макдермотт, Чжуан Ган и Карл Вондрик заставили нейросети сосредоточиться на изображениях и источниках звука. Поэтому “глубокое обучение” проводили с помощью набора данных MUSIC (Multimodal Sources of Instrument Combinations, «Мультимодальные источники комбинаций инструментов»). В него вошли 714 видеороликов с онлайн-сервиса YouTube.

По словам Ханга Чжао, PixelPlayer легко “узнает, какие объекты издают звуки” на видео и распознает более 20 музыкальных инструментов. Для этого система использует нейросети видеоанализа (отделяет изображения от кадра), аудиоанализа (улавливает звучание) и аудиосинтеза (связывает звуковые волны с пикселями с “картинки”).

«Мы были удивлены тем, что PixelPlayer способен точно находить расположение инструментов в пространстве. Это открывает множество возможностей. Например, можно одним кликом на видео редактировать саундтрек по отдельным инструментам», — не скрывает гордости за сделанное Чжао.

По мнению ученых, PixelPlayer станет незаменимым для профессиональных музыкантов и любителей. Он позволяет изолировать и настраивать уровни звучания каждого инструмента, а также редактировать музыку прошлого по видео. Роботы смогут применять систему для распознавания звуков, которые издают животные и транспорт.

Результаты исследования разработчики изложили в статье The Sound of Pixels (“Звук пикселей”), которую планируют озвучить на Европейской конференции по компьютерному зрению (сентябрь 2018-го, Мюнхен).

Ранее ученые из Университета Йёнчёпинга (Швеция) и Маастрихтского университета (Нидерланды) создали сложную нейросеть – систему искусственного интеллекта, которая выявляет музыкальные вкусы и определяет музыкантов.

Источники: csail.mit.edu, medium.com. Подготовил Станислав Клопот

Пассивный доход с инвестиций в облигации

Облигации — самый быстрый и безопасный путь к доходным инвестициям!

Пассивный доход с инвестиций в облигации

УЗНАТЬ ПОДРОБНЕЕ