Первый арт-тех проект red_mad_robot – настоящий вызов для команды. Всё получилось: сотни тысяч оцифрованных изображений, полноценный цифровой музей и умный поиск с использованием нейросетей.
«Воображаемый музей» — проект с удивительным научным и просветительским потенциалом. Искусствоведы и художники могут использовать материалы исследований в научных и художественных работах, учащиеся творческих вузов и школ — как учебный материал, а представители других индустрий — развивать навыки аналитики и синтеза, прокачивать насмотренность и чувство гармонии.
В 2021 году вместе с Фондом цифровой трансформации мирового культурного наследия мы начали работу по созданию цифрового «Воображаемого музея» Михаила Шемякина.
Михаил Шемякин — художник и скульптор, исследователь культуры и истории. «Воображаемый музей» Михаила Шемякина — результат 60 лет его активной работы, исследований и аналитики. Художник провёл очень масштабное исследование: проанализировал сотни тысяч изображений на предмет параллелей и взаимосвязей в искусстве — 3 млн репродукций и тысячи тем: «Лестница», «Закутанная фигура», «Рука», «Крик», «Смазанность образа» и другие.
Все эти годы исследование велось исключительно в аналоговом формате — Михаил Шемякин собственноручно вырезал иллюстрации из книг, газет и журналов по искусству, анализировал и в соответствии с авторским методом наклеивал их на листы плотного картона, которые отправлялись в тематические папки.
Задачей red_mad_robot было создание платформы цифрового музея, которая помогла бы сохранить исследование Шемякина, дополнить его цифровыми инструментами и открыть первым пользователям.
Решение — платформа с умным поиском и применением нейросетей. За шесть месяцев было отсканировано больше 700 папок «Воображаемого музея» и создан облачный архив из 200 тысяч изображений.
Платформа
Важный элемент цифрового музея — поиск среди огромного архива визуальных исследований. Для удобства пользователей на платформе есть два вида поиска: атрибутивный и машинный (на основе нейросети). Первый находит изображения по метаданным, а второй, кроме поиска по автору и дате создания, умеет искать картины на основе их содержания и смысла.
Более того, в рамках поиска нейросеть выдаёт пользователю список тегов, которые могут подтолкнуть исследователей к поиску новых смысловых связей в контексте метода Михаила Шемякина.
Это даёт сотрудникам исследовательских проектов пространство для новых трактовок и экспериментов с «подсказками» от нейросети, при этом демонстрирует, что нейросеть пока не смогла воспроизвести аналитический метод художника.
Технологии
Мы хотели оптимизировать работу с таким большим количеством изображений и попытались «оцифровать» авторский метод Михаила Шемякина. Но нейросети оказались не настолько умны — хоть они отлично распознают объекты на изображениях, алгоритм пока не способен проводить тот анализ, который проводит сам художник. Именно это делает «Воображаемый музей» музеем Шемякина, а не кого-либо ещё.
Поэтому из нейросети было решено сделать «невидимого» помощника внутри поисковой системы. Для этого мы выбрали уже существующую нейросеть CLIP, которая использует два встроенных словаря: текстовый и визуальный — 32 тысячи уникальных слов и 4 тысячи уникальных объектов и концептов. Она анализирует входные данные и «понимает», насколько помещённое в неё изображение соотносится с понятиями из её же словаря.
Дизайн
Мы выбрали академическое направление дизайна: шрифт Antiqua с засечками для привлечения внимания, коричневая и золотисто-чёрная палитра. Дизайн как раз пересекается с артефактами из реального мира: коробки с листами, подписи и почерк художника.
Весь интерфейс нацелен на работу с изображениями — изображения в «Воображаемом музее» ни в коем случае нельзя обрезать. Поэтому мы встроили их во фрейм (контейнер) так, чтобы они всегда помещалось целиком, сохраняя пропорции. Это добавило динамики сетке страницы. В верхней части страницы — переключение между модулями платформы, цифровым и аналоговым, и умный поиск по изображениям.
Результат
Воображаемый музей Михаила Шемякина представляет собой бесконечный ресурс для создания новых выставок, книг и образовательных программ. Исследователи искусства, художники и дизайнеры со всего мира теперь могут изучать материалы музея онлайн и прокачивать свои навыки.
Сегодня «Воображаемый музей» Михаила Шемякина — неисчерпаемый ресурс для создания новых выставок, книг и образовательных программ. Он интересен и исследователям, и практикам (художникам и дизайнерам), и широкой аудитории — всем, кто хочет «тренировать глаз» и развивать свои аналитические способности.
Выставлено в номинациях:
— Лучший usability / UX
— Сайт объекта культуры, концерта, выставки