Идея проекта
Проект посвящён обучению нейросети воспроизведению визуального стиля советской монументальной мозаики — одного из самых выразительных направлений декоративного искусства XX века.
В современном мире советское искусство вызывает особый интерес — особенно когда ты живёшь в регионе, где сохранились многие мозаики. Они украшают фасады жилых домов, дворцов культуры, школ и общественных пространств. Отличаются яркой цветовой палитрой, идеализированными образами человека и динамичными композициями.
Цель проекта — научить модель Stable Diffusion XL понимать и воспроизводить эти особенности, создавая новые изображения, в которых стиль советской мозаики органично сочетается с современными сюжетами или архитектурой.
Источники данных
В основу датасета для обучения нейросетевой модели частично легли примеры мозаек из стока unsplash с бесплатной открытой лицензией и частично личные фотографии, опубликованные на открытом ресурсе — в группе Вконтакте «Советская мозайка».
Были подобраны разнообразные образы: от абстрактных, до сюжетов с людьми
Часть датасета для обучения
Каждое изображение было приведено к единому формату 1:1 и использовано для обучения LoRA‑надстройки модели SDXL
Код для подключения датасета и создания JSON файла
Процесс обучения
После настройки окружения и установки зависимостей, была загружена модель Stable Diffusion XL и выставлены параметры для обучения чтобы ноутбук сохранил LoRA веса, включая чекпоинты после каждых 200 шагов для возможности продолжить обучение с нужного или последнего из них (или вернуться на прошлый чекпоинт)
Финальный вид обучения LoRA
Первая итерация генераций
После обучения LoRA была подключена SDXL и прописаны промты для генерации современных архитектурных сцен с применением советской мозаики, адаптированной к современным сюжетам
Код для генерации изображений
После первой итерации обучения на 600 шагов (всего было 2 итерации обучения) несмотря на удовлетворительное качество генераций, модель всё ещё сталкивалась с рядом типичных сложностей:
- Искажения анатомии человека;
- Чрезмерная стилизация отдельных элементов;
- Сложности с интеграцией мозаики в современные архитектурные формы;
- Чрезмерное внедрение современного футуристичного стиля и сюжета.
Результаты генераций первой итерации обучения
Эти проблемы характерны для моделей, обученных на небольших датасетах, и могут быть решены дальнейшим дообучением. Во второй итерации количество шагов было увеличено до 1200
Код для загрузки улучшенного Vae для SDXL
После процесса обучения, но перед кодом с промтами и непосредственной генерацией, был добавлен блок, который исправляет артефакты, уменьшает мыльность и даёт более чёткие изображения в результате.
Вторая итерация генераций
Люди и технологичные сюжеты
Первые промты были направлены на качественную реализацию портрета современного человека. Это получилось довольно удачно, при этом сохранив современные отличительные элементы и черты лица.
Нейросетевые генерации с образом человека
Промты использованные для генераций с образом людей:
«a skyscraper with a giant mosaic depicting space exploration and workers, urban landscape, golden hour lighting, intricate details, glass and steel building»
«a contemporary high-rise apartment building with a mosaic art installation featuring students studying mathematics, geometric shapes, modern architecture, bright colors, city skyline background, 8k resolution»
«a glass office building with a mosaic integrated into its entrance, mosaic shows engineers working with robots and computers, modern architecture, natural lighting, architecture photography, city center, highly detailed»
«a futuristic business center covered with monumental mosaic panels showing IT engineers working with servers, digital data streams, equations on a blackboard, bright colors, city street, sunny day, highly detailed mosaic»
Нейросетевые генерации с технологичными сюжетами
Наиболее удачными стали генерации в которых были чётко видны элементы техники: компьютеры, платы, наушники, дроны и сервера.
Основой таких изображений стали образы современных IT-специалистов, как двигателей прогресса современной России в аналогии с Советскими образами в мозаике где изображались рабочие и заводчане
Нейросетевая генерация с сюжетом и человеком
Промты использованные для генераций с образом людей и технологичными IT-сюжетами:
«a modern high-tech building with a large mosaic facade, soviet mosaic style, the mosaic shows engineers working with servers, data streams, bright colors, geometric composition, city skyline, highly detailed»,
«a modern glass skyscraper with a large soviet-style mosaic on its facade, the mosaic depicts a programmer sitting at a computer with lines of code, a drone hovering above, vibrant colors, highly detailed mosaic, urban downtown setting, photorealistic, 8k»
Интерьерная абстрактная мозаика
Неотъемлемой частью жизни современного жителя мегаполиса является рабочее место. Было решено также интегрировать мозаику в интерьерные пространства. В этом случае нужно было несколько минимизировать сюжеты и показать больше абстрактные образы
Нейросетевая генерация интерьерных мозаек в офисах
Промты использованные для генераций с интерьерными сюжетами:
«a high-tech building with a large-scale mosaic depicting a programmer, lines of code, and a drone, detailed mosaic, vibrant colors, modern architecture, city background»
«a glass office building with a mosaic integrated into its entrance, mosaic shows engineers working with robots and computers, modern architecture, natural lighting, architecture photography, city center, highly detailed»
«a contemporary business district with a mosaic mural on a glass facade, depicting people using smartphones, a drone delivering a package, cityscape, bright colors, highly detailed mosaic, photorealistic»
Нейросетевые генерации современных входных групп
Входные группы и абстрактная мзаика
Также было создано несколько генераций для входных групп. Важно было сохранить современный стиль архитектуры, поэтомоу были исключены сложные сюжетные образы и выбрана абстракция
Промты использованные для генераций:
«a contemporary apartment building with a soviet mosaic art installation featuring, modern architecture, bright colors, city skyline background, 8k resolution»,
«a modern residential complex with soviet mosaic panels on the walls depicting children and peace, bright colors, realistic, highly detailed, urban environment»
Ещё часть менее удачных генераций
Суммарно было сделано более 100 нейросетевых генераций по разным тематикам и направлениям. Так, например, интерпретация темы космоса оказалась сильно похожей на советскую, а внедрение текста требовало дополнительного дообучения, поскольку композиционно получалось не таким удачным.
Вывод
Обучение генеративной модели на советских мозаиках показало, что нейросеть способна достаточно точно перенимать особенности монументального искусства и переносить их на новые сюжеты при должном обучении.
Это в очередной раз подчёркивает гибкость, актуальность и независимость вне времени таких фундаментальных инструментов декоративно-прикладного искусства.
Однако при желании достижения более высокого качества требуется:
- Расширение датасета,
- Дообучение на портретах и фигуративных сценах, современных зданиях,
- Использование дополнительных техник (ControlNet, T2I‑Adapters)
Тем не менее уже сейчас результаты демонстрируют потенциал генеративных моделей в реконструкции и переосмыслении художественных традиций.