Центр Защиты Прав СМИ
учреждён в 1996 году
28.09.2017
В рамках мероприятия участники дискуссии расскажут об изменениях закона для СМИ за последние пару лет. 

«В скольких избирательных урнах похоронен пепел надежды!»

Иван Иванюк, журналист

27.03.2017

Нейросеть «ВКонтакте» научили выявлять суицидальный контент

Технология способна определять опасные и мошеннические материалы, спам и порнографию


Соцсеть «ВКонтакте» начала использовать «обученный» алгоритм собственной разработки, который присваивает картинкам специальный рейтинг, определяя, содержится ли в них противоправный или «опасный» контент. Алгоритм распознает на картинках объекты — людей, животных, растения. Выявленный «запрещенный» контент не попадает в поисковую выдачу и «умную» новостную ленту либо полностью блокируется. Технология также способна анализировать текстовые надписи на изображениях.

В компании рассказали, что нейросеть умеет определять предметы и сущности, изображенные на фото. Она понимает не только «человек», «ребенок», «животное», «растение», но и может определить, например, предмет одежды, символ «групп смерти». В целом нейросеть имеет несколько тысяч классов, которые присваиваются фотографиям  от 0 до 1 по нескольким параметрам. Если алгоритм характеризует фото как «опасное», оно отправляется модераторам для проверки. Если же фото признано «умеренно опасным», оно пропадает из поисковой выдачи, а в новостной ленте понижается его приоритет. Механизм помогает остановить распространение спама, мошенничества, детской порнографии, нелегальных услуг и другой противоправной деятельности. 

Отдельный сценарий предусмотрен для борьбы с суицидальным контентом. Записи и фото на эту тему удаляются автоматически, а страницы их авторов блокируются.

Если пользователь загружает картинку или упоминает хэштеги, которые ранее использовали в качестве призыва к суициду, «ВКонтакте» блокирует его страницу и предлагает сообщить о причинах публикации. На основании ответов определяется, когда страница будет разблокирована, и дальнейшие действия: пользователю может быть предложена помощь психологов фонда «Твоя Территория» или советы по безопасности страницы.

Алгоритм также помогает формировать «умную» новостную ленту, которая была введена «ВКонтакте» в прошлом году, — записи от друзей и сообществ отображаются не в хронологическом порядке, а по приоритету, максимально интересному конкретному пользователю. Присваивание классов нужно не только для удаления противоправных изображений, но и для формирования ленты пользователя с учетом его интересов. Если человек ставит лайки на фотографиях с кошками, то в персонализированной ленте в приоритете ему будут чаще выводиться записи с кошками. На сегодняшний день, по данным «ВКонтакте», «умной» лентой пользуется 80% активной аудитории соцсети.

Руководитель направления Big Data и Machine Learning «ВКонтакте» Андрей Законов рассказал, что сейчас нейросеть тестируют на анализ текста поверх изображений. По его словам, технология необходима в первую очередь для того, чтобы сделать новостную ленту пользователя «максимально полезной и интересной».

— Нейросеть анализирует только изображения, загружаемые для общего доступа, то есть отправляемые фото в личных сообщениях не анализируются, — пояснил Андрей Законов. — С помощью этой технологии в будущем мы сможем бороться со спамом и мошенничеством. Мы обучили нашу нейросеть на основе жалоб пользователей на разный контент.

Технология нейросетей известна уже много лет, но популярной ее сделали многопользовательские приложения, превращающие фотографии в произведения искусства. Первой была Prisma от выходца из Mail.ru Group, позднее такое же приложение с названием Vinci выпустила «ВКонтакте», а затем и сама Mail.ru Group выпустил приложение Artisto, которое уже редактировало видео.

В отличие от стандартных алгоритмов, запрограммированных выполнять определенные действия, нейросеть работает по принципу человеческого мозга. Ее учат анализировать данные и принимать решения самостоятельно. Например, Google сейчас развивает нейросеть в своем сервисе-переводчике так, чтобы она могла переводить тексты с одного языка на другой, как это сделал бы человек.

Основатель компании «АРБ Диджитал» (работает в сфере анализа данных и машинного обучения, в том числе создания и применения искусственных нейронных сетей в прикладных бизнес задачах) Владислав Арбатов рассказал, что в любой соцсети есть проблема суицидальных проявлений и противоправной деятельности, но все с ней борются по-разному. По его словам, уже существуют нейросети, которые не только умеют распознавать предметы на фото, но и делать осмысленные описания.

— Например, Instagram просто блокирует посты по хэштегу «синий» и предлагает обратиться за квалифицированной помощью, но это не очень эффективно. А вот использование VK более подходящего способа с распознаванием изображений, — большой плюс и будет более эффективным, — заявил Владислав Арбатов.  Текстовый контент и сейчас можно проанализировать, провести поиск, старгетировать рекламу на его основе, а вот изображение нужно сначала распознать. Грубо говоря, это перевод картинки в текстовый вид, пригодный для множества задач. Instagram, Facebook тоже используют технологии машинного обучения, как для выявления контента 18+, так и для более релевантной для пользователя ленты, причем Facebook еще использует алгоритм для людей с ограниченными возможностями — пользователи со слабым зрением могут запустить «читалку», узнать, что изображено на картинке.

Научный сотрудник Университета Иннополис Леонард Йохард рассказал, что классификация изображений — серьезное достижение в области нейронных сетей.

— Нейронные сети справляются с простыми задачами по распознаванию объектов гораздо лучше, чем люди, погрешность при обнаружении однородного объекта, как правило, составляет всего несколько процентов, — заявил Леонард Йохард. — Безусловно, визуальный суицидальный и эротический контент  это субъективные понятия, которые во многом зависят от контекста, поэтому подобный контент сложнее распознать по сравнению с обычными объектами. Анализ cодержания изображения  объект пристального внимания в научной среде с многообещающими результатами. Это интересная, но непростая задача. Конечно, в процессе работы будут ошибки, но по мере увеличения объема собранных данных результаты станут лучше.

Эксперт добавил, что мнения относительно развития тренда в области классификации изображений и видео расходятся. Некоторые представители сообщества специалистов по технологии глубокого обучения заявляют, что нейронные сети могут развить более глубокое восприятие мира просто за счет отслеживания очень больших объемов изображений и видео. Другие считают, что нейронные сети еще долго будут познавать этот мир, так как истинное понимание происходит только в процессе комплексного взаимодействия с ним.

Источник: "Известия"

Фото: ИЗВЕСТИЯ/Павел Бедняков