Как это работает под капотом
Генеративные модели вроде Midjourney опираются на подход CLIP (Contrastive Language-Image Pre-training). CLIP — модель от OpenAI, которая понимает связь между текстом и изображениями. Она состоит из двух частей:
Понимает текст и превращает его в числовой вектор (эмбеддинг).
Понимает изображения и тоже превращает их в вектор.
Оба энкодера обучались на 400 миллионах пар «изображение + текст», собранных из интернета. Если текст и картинка подходят друг другу (фото кота и подпись «кот»), их векторы должны быть близки. Если не подходят — далеки.
Почему язык влияет на стиль
В интернете русские тексты чаще шли с фотографиями российских городов, людей и объектов, китайские — с азиатской эстетикой, английские — с западным контентом. Модель запомнила эти культурные ассоциации. Когда вы пишете промт по-русски, она активирует области латентного пространства, связанные с визуальными паттернами, которые часто встречались вместе с русским языком.
Представьте библиотеку, где все книги про собак и все картинки собак стоят на одной полке. Модель научилась раскладывать информацию по таким «полкам». Русский текст про город попадает на полку с российскими городами, китайский — с азиатскими.
Баг или фича?
И то и другое. С одной стороны, в модели есть культурная предвзятость: если в обучающих данных было больше западного контента, она лучше понимает западные концепции. С другой — это креативный инструмент. Хотите российскую эстетику — пишите по-русски. Нужна азиатская стилистика — пробуйте китайский или японский.
Экспериментируйте с языком промтов, если хотите получить определённую культурную эстетику. Это работает и с другими моделями на базе CLIP (Stable Diffusion, DALL-E). Понимание того, как работает инструмент, даёт больше контроля над результатом.