Обучение генеративной нейросети под стиль SAMMY
Идея
Поскольку я впервые обучала генеративную модель на определенную стилистику, мне было интересно сможет ли она повторить традиционную китайскую живопись, а конкретно живопись SAMMY?
Живопись Гохуа и SAMMY
Гохуа (кит. трад. 國畫, упр. 国画, пиньинь guó huà, палл. гохуа) — это техника живописи, в которой используются растительные и минеральные водяные краски и тушь на шелке или бумаге.
Эта традиционная техника оказала огромное влияние на китайскую мультипликацию 1960-80-х годов, особенно на работы режиссера Тэ Вэя, которые были отмечены международными наградами.
Гохуа — это не просто живопись, это целая философия, отражающая мировоззрение китайского народа и его стремление к гармонии и красоте.
SAMMY или же 丝鸣. 东城张三爷 является китайским художником-живописцем, который рисует иллюстрации в стилистики традиционной китайской живописи Гохуа.
Свои работы SAMMY рисует на необработанной рисовой бумаги тушью и чернилами, а после делает минимальную обработку в графических редакторах. Чаще всего сюжеты картин представляют собой темы мифологии.
SAMMY принимала участие в разработке постеров для «Nezha: The Devil Child Conquers the Dragon King».
Исходные изображения
Для обучения генеративной нейросети я собрала датасет, состоящий из 20 изображений, представляющих из себя картины SAMMY, обрезанные под квадратный формат для наиболее корректной работы.
Получившиеся изображения
промт- «in SAMMYCHAN style a man holding a sword» промт- «in SAMMYCHAN style a girl playing the guqin» промт- «in SAMMYCHAN style a girl with a staff»
Картины SAMMY имеют ощущение легкости и невесомости. Изображения имеют светлый фон и теплые оттенки туши.
промт- «in SAMMYCHAN style a girl sitting on a rock» промт- «in SAMMYCHAN style a snake girl with children in her arms»
В изображениях от нейросети безусловно получилось передать стилистику Гохуа, но вот стилистику SAMMY передать, как по мне, не получилось.
Работы не имеют ту же воздушность что и оригинал для генерации. Так же в работах нейросети можно увидеть, что за основу взята линия, в то время как у SAMMY все работы от пятна.
Процесс обучения
Инструменты:
1.Google collab — написание кода; 2.Stable diffusion — генеративная модель для обучения; 3.Hugging face — получение токена.
Данный код реализует обучение генеративной нейросети на основе предобученной модели Stable Diffusion XL с помощью техник DreamBooth и LoRA, ориентируясь на стилистику изображений SAMMY.
части кода
Ссылки и материалы
Вывод
Нейросеть создала интересные картины, демонстрируя отличную технику и композицию, хоть и отличающуюся от стиля SAMMY. Однако, несмотря на это, ей не удалось воспроизвести уникальную эмоциональную глубину, и невесомость, присущие оригиналу.
