Stable Diffusion — базовая модель для текст‑в‑изображение, ControlNet — модуль для точного управления композицией, ADetailer — расширение для исправления деталей (лица, руки), а Pony и Illustrious — специализированные модели для аниме и иллюстраций.
🖼 Stable Diffusion
- Stable Diffusion — открытая модель от Stability AI (2022).
- Использует латентное диффузионное моделирование (LDM): шум добавляется и удаляется в скрытом пространстве, что делает процесс эффективным.
- Основные возможности: генерация изображений по тексту, inpainting (замена частей изображения), outpainting (расширение за пределы кадра), image‑to‑image трансформации.
- Отличается от DALL‑E и MidJourney тем, что может работать локально на потребительских GPU.
🎛 ControlNet
- ControlNet — архитектура от Stanford (2023), добавляющая условное управление к Stable Diffusion.
- Позволяет использовать карты глубины, контуры, позы, сегментацию для точного контроля композиции.
- Работает через дополнительную обучаемую ветку, а основной «бэкбон» модели остаётся замороженным, что предотвращает потерю качества.
- Применяется для задач: генерация по позе человека, перевод эскиза в картинку, точное воспроизведение структуры.
🔧 ADetailer
- ADetailer — расширение для Stable Diffusion WebUI.
- Основная задача — автоматическая коррекция лиц и рук, которые часто искажаются в генерации.
- Использует модели YOLO и MediaPipe для детекции объектов, создаёт маски и выполняет inpainting только в проблемных областях.
- Поддерживает интеграцию с ControlNet, пакетную обработку и кастомные промпты для отдельных регионов.
🎨 Pony Diffusion & Illustrious
- Pony Diffusion — модель для аниме‑арта, основанная на Danbooru‑тегах.
- Промпты строятся как набор тегов: 1girl, long hair, blonde hair.
- Сильная сторона — точность анатомии и совместимость с огромной библиотекой LoRA.
- Illustrious — модель от OnomaAI, также на базе SDXL.
- Поддерживает естественный язык и теги, выдаёт более гибкие стили и яркую цветовую палитру.
- Отличается высокой детализацией и открытой экосистемой LoRA.
📊 Сравнительная таблица
| Модель | Основное назначение | Сильные стороны | Ограничения |
|---|---|---|---|
| Stable Diffusion | Универсальная генерация | Локальная работа, гибкость | Требует GPU, ошибки в деталях |
| ControlNet | Управление композицией | Позы, контуры, глубина | Нужны доп. данные (карты) |
| ADetailer | Исправление деталей | Лица, руки, точечное улучшение | Пост‑обработка, не создаёт с нуля |
| Pony Diffusion | Аниме‑арт (теги) | Точность, LoRA‑экосистема | Требует знания тегов |
| Illustrious | Аниме/иллюстрации | Гибкость, цвет, открытость | Меньше теговой строгости |