Искусственный интеллект восстанавливает фрески Дионисия

Копировать ссылку
Нейросеть добралась и до Кирилло-Белозерского музея-заповедника.

В филиале Кирилло-Белозерского музея-заповедника, который находится в селе Ферапонтово Вологодской области, пытаются восстановить фрески Дионисия 1502 года.

«Фрески собора Рождества Богородицы Ферапонтова монастыря — единственная роспись великого русского мастера Дионисия Мудрого, дошедшая до нашего времени почти в полном составе и подлинном виде с начала XVI века. К сожалению, в росписи есть некоторые утраты, причем часть из них вызвана переделками в самом соборе. В частности, потеряны части фресок, украшающих барабан купола, после того как там пробили окна в XVIII веке, — рассказал генеральный директор Кирилло-Белозерского музея-заповедника Михаил Шаромазов. — В настоящее время сотрудники Института космических исследований РАН и Кирилло-Белозерского музея-заповедника исследуют возможности нейронных сетей для восстановления первоначального облика поврежденных произведений искусства. Это стало возможным благодаря предварительно проделанной работе по мультиспектральной съёмке росписей собора специалистами ИКИ РАН, Московского государственного университета геодезии и картографии, Национального исследовательского центра „Курчатовский институт“, Государственного научно-исследовательского института реставрации. Коллекция высокоточных фотографий позволила специалистам провести начальную проверку возможностей искусственного интеллекта для решения поставленной задачи».

В музее отметили — несмотря на то, что первоначальный облик таких произведений мы никогда не узнаем, есть возможность хотя бы попытаться представить, каким он мог быть. С этим успешно справляются реставраторы, восстанавливающие утерянные изображения из мелких фрагментов и на основе общей карты. Но такая работа требует очень много времени и сил. Поэтому решили прибегнуть к помощи нейронных сетей. Они обучены на большой выборке изображений и способны генерировать картинки «по запросам пользователей».

«Мы готовы не только к традиционным подходам в своей работе, но и новым, неординарным, — замечает директор Музея фресок Дионисия Ирина Паршукова. — Я считаю, что мы только в начале пути. Не исключено, что в будущем появятся новые технологии и подходы, которые изменят направление развития нейросетей. Главное — нейросети обучаемы, и от нас зависит, какой будет в дальнейшем результат. Хочется надеяться, что в недалеком будущем мы сможем представить росписи собора Рождества Богородицы, выполненные Дионисием, так, как видел их сам мастер по окончанию работ, видели его современники, с участием которых разработана программа росписей, − Иоасаф Оболенский и митрополит Спиридон Савва. Не исключено, что результат нас удивит. Мы увидим немного другого Дионисия, а не того, которого привыкли видеть сейчас. Работу специалистов института космических исследований можно условно назвать реставрацией. Реставрация — это воссоздание до оригинала. В нашем случае она выполнена не реставратором, а нейронной сетью, обученной специалистами ИКИ. У любого реставратора свое видение результата работы, т. е. субъективное реставрационное решение, а нейросеть беспристрастна. Если дать ей максимально возможный объем информации, она более точно воспроизведет оригинал. Мы должны помнить — нейронные сети не являются идеальными и могут допускать ошибки. Поэтому важно внимательно анализировать и интерпретировать результаты, полученные с помощью нейронных сетей. Впереди большая, сложная работа коллектива единомышленников: искусствоведов, специалистов в области нейронных сетей, математиков. Многое будет зависит от объема информации, которого мы можем предложить для обучения сети, анализа материала, хорошей образовательной базы и эрудиции всех участников процесса».

В Институте космических исследований РАН отметили: «Нейросеть в целом хорошо справляется с «ретушированием» не только малых, но и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, но и фрагменты фигур святых, направление взгляда и положение рук. В работе у специалистов находились изображения Спаса Вседержителя, праматери Евы, одного их праотцов человечества Мафусаила, прославившегося своим долголетием — согласно Библии он прожил 969 лет, третьего сына Адама и Евы — Сифа, его потомков — Иареда, Еноса и Еноха, а также последнего из допотопных ветхозаветных патриархов, происходящих по прямой линии от Адама, — Ноя.

«Не всё идеально. Есть и „ошибки“ — в частности, фреска с изображением праматери Евы, где положение глаза сильно смещено относительно того, которое мы ожидали бы увидеть. Такого рода „ошибки“ можно исправить, продолжая „обучать“ нейронную сеть на специально подобранных изображениях фресок и частей фресок. Эта работа сейчас продолжается. В связи с этим, естественно, появляется вопрос об оценке качества реконструкции, ответить на который сложно, поскольку у нас нет исходного изображения. Тем не менее, в исследованиях других изображений из собора качество восстановления довольно высокое», — пояснил заведующий отделом учета и хранения филиала Кирилло-Белозерского музея-заповедника — Музея фресок Дионисия — Игорь Хоботов, участвовавший и в съёмках фресок собора Рождества Богородицы, и в тестировании работы искусственного интеллекта.

Ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов ИКИ РАН Артём Просветов уверен, что качество реконструкции можно попробовать оценить с помощью специализированных метрик, также использующих нейронные сети.

«Первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети понять, какие детали и объекты присутствуют на „типичном“ рисунке. Для расширения выборки к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений. Таким образом, получается две выборки: набор изображений с минимальными повреждениями и серия реконструированных рисунков. Теперь появляется возможность получить статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения „хороших“ и реконструированных изображений, тем выше качество реконструкции. Получается, что сравнивается общее впечатление нейронной сети от каждого из наборов изображений, поэтому присутствие конкретного объекта на рисунке играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов», — отметил Артём Просветов.

Специалисты Института космических исследований РАН и Кирилло-Белозерского музея-заповедника произвели первые подходы к решению задачи по восстановлению первоначального облика фресок Дионисия. Исследователи уверены, что продолжат изучение этого вопроса. В настоящее время идет процесс обучения нейросети — он заключается в наполнении ее базы данных фотографиями фрагментов фресок.

Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Искусственный интеллект восстанавливает фрески Дионисия. Фото: Кирилло-Белозерского музея-заповедника
Назад к списку
ЛЕНТА НОВОСТЕЙ
Опрос

ОПРОС

← 1 / 69 →

Зима снова вернулась. А вы уже успели открыть дачный сезон?

22.95%
27.87%
11.48%
9.84%
27.87%
Опрос завершен
Анонимно или
Войти
Предложите новость

ПРЕДЛОЖИТЬ НОВОСТЬ

Отправьте свою новость в редакцию, расскажите о проблеме или подкиньте тему для публикации. Сюда же загружайте ваши видео и фото.

Предложить новость
(8172) 280-003
Вологда
(8202) 57-11-11
Череповец
Цитата

ЦИТАТА

← 1 / 3 →
Георгий Филимонов
врио губернатора Вологодской области
Георгий Филимонов

«В 2024 году Вологодчина направит в больницы Алчевска 44 единицы медицинского оборудования, которое повысит эффективность оказания медицинской помощи. Кроме того, в состав гуманитарного груза войдут хирургические столы, кресла-каталки и оборудование для пищеблока»

20 Апреля 2024
Топ-5 новостей

ТОП-5 НОВОСТЕЙ

35 Медиа
23 апреля, вторник
08:16:27
Коронавирус
Коронавирус
227791 (+62) чел
Курсы валют
USD 93.44
EUR 99.58