本书以AI图像生成为主线，串联讲解了Stable Diffusion、DALL·E、Imagen、Midjourney等模型的技术方案，并带着读者训练一个自己专属的AI图像生成模型。
本书共6章。第1章先介绍身边的AIGC产品，再讲解AI图像生成相关的深度学习基础知识，包括神经网络和多模态模型的基础知识。第2章讲解AI图像生成技术，从VAE到GAN到基于流的模型再到扩散模型的演化，并详细介绍扩散模型的算法原理和组成模块。第3章讲解Stable Diffusion模型的核心技术。第4章讲解DALL·E 2、Imagen、DeepFloyd和Stable Diffusion图像变体模型的核心技术。第5章讲解Midjourney、SDXL和DALL·E 3的核心技术。第6章是项目实战，使用LoRA技术对Stable Diffusion模型进行微调，得到特定风格的AI图像生成模型。
如果你已经掌握了一些图像生成的零散知识，但是想要形成完整的知识体系
如果你好奇Midjourney、Stable Diffusion、DALL·E等模型，在实现上有何不同
如果你想自己动手训练一个图像生成模型
那么可以读一读这本书，系统、快速地构建AI图像生成的知识脉络！
南柯，某头部互联网公司 AIGC 团队技术负责人，高级算法专家，极客时间AI 绘画核心技术与实战专栏作者，拥有十多年计算机视觉领域从业经验，带领团队推动多模态生成，尤其是 AI 图像生成与编辑、多模态大语言模型、数字人等热点方向的技术建设。在 ICCV 和AAAI 年会等 AI 领域顶级会议上发表过多篇论文，拥有 100 多项专利。
第 1章 AIGC基础 1
1.1 身边的AIGC 1
1.1.1 图像生成和编辑类工具 1
1.1.2 文字提效类工具 2
1.1.3 音频创作类工具 4
1.2 神经网络 4
1.2.1 人工神经元 5
1.2.2 激活函数 6
1.2.3 人工神经网络 7
1.2.4 损失函数 9
1.2.5 优化器 9
1.2.6 卷积神经网络 10
1.3 多模态模型 13
1.3.1 认识模态 14
1.3.2 典型多模态模型 15
1.3.3 参数量 16
1.3.4 计算量 17
1.4 小结 17
第 2章 图像生成模型：GAN和扩散模型 19
2.1 图像生成模型的技术演化 19
2.1.1 第 一代图像生成模型：VAE 20
2.1.2 第二代图像生成模型：GAN 20
2.1.3 第三代图像生成模型：基于流的模型 21
2.1.4 第四代图像生成模型：扩散模型 21
2.1.5 第五代图像生成模型：自回归模型 22
2.2 旧画师GAN 22
2.2.1 生成对抗原理 22
2.2.2 生成能力的进化 24
2.2.3 GAN时代的图生图 28
2.2.4 GAN的技术应用 30
2.3 新画师扩散模型 31
2.3.1 加噪过程：从原始图像到噪声图 32
2.3.2 去噪过程：从噪声图到清晰图像 33
2.3.3 训练过程和推理过程 35
2.3.4 扩散模型与GAN 36
2.4 扩散模型的U-Net模型 37
2.4.1 巧妙的U形结构 37
2.4.2 损失函数设计 41
2.4.3 应用于扩散模型 43
2.5 扩散模型的采样器 43
2.5.1 采样器背后的原理 44
2.5.2 如何选择采样器 45
2.6 训练一个扩散模型 46
2.6.1 初探扩散模型：轻松入门 46
2.6.2 深入扩散模型：定制艺术 50
2.7 小结 52
第3章 Stable Diffusion的核心技术 53
3.1 图像的压缩器VAE 53
3.1.1 从AE到VAE 54
3.1.2 图像插值生成 58
3.1.3 训练餐厅评论机器人 60
3.1.4 VAE和扩散模型 61
3.2 让模型听话的CLIP 62
3.2.1 连接两种模态 62
3.2.2 跨模态检索 64
3.2.3 其他CLIP模型 67
3.2.4 CLIP和扩散模型 68
3.3 交叉注意力机制 69
3.3.1 序列、词符和词嵌入 69
3.3.2 自注意力与交叉注意力 71
3.3.3 多头注意力 72
3.4 Stable Diffusion是如何工作的 77
3.4.1 Stable Diffusion的演化之路 77
3.4.2 潜在扩散模型 78
3.4.3 文本描述引导原理 80
3.4.4 U-Net模型实现细节 82
3.4.5 反向描述词与CLIP Skip 86
3.4.6 图生图实现原理 87
3.5 小结 90
第4章 DALL·E 2、Imagen、DeepFloyd和Stable Diffusion图像变体的
核心技术 91
4.1 里程碑DALL·E 2 91
4.1.1 DALL·E 2的基本功能概览 91
4.1.2 DALL·E 2背后的原理 94
4.1.3 unCLIP：图像变体的魔法 97
4.1.4 DALL·E 2的算法局限性 97
4.2 Imagen和DeepFloyd 98
4.2.1 Imagen vs DALL·E 2 98
4.2.2 Imagen的算法原理 99
4.2.3 文本编码器：T5 vs CLIP 100
4.2.4 动态阈值策略 103
4.2.5 开源模型DeepFloyd 104
4.2.6 升级版Imagen 2 107
4.3 Stable Diffusion图像变体 107
4.3.1 图生图vs图像变体 107
4.3.2 使用Stable Diffusion图像变体 108
4.3.3 探秘Stable Diffusion图像变体模型背后的算法原理 110
4.4 小结 112
第5章 Midjourney、SDXL和DALL·E 3的核心技术 113
5.1 推测Midjourney的技术方案 113
5.1.1 Midjourney的基本用法 113
5.1.2 各版本演化之路 114
5.1.3 技术方案推测 117
5.2 SDXL的技术方案与使用 120
5.2.1 惊艳的绘图能力 120
5.2.2 使用级联模型提升效果 122
5.2.3 更新基础模块 123
5.2.4 使用SDXL模型 124
5.3 更听话的DALL·E 3 126
5.3.1 体验DALL·E 3的功能 126
5.3.2 数据集重新描述 127
5.3.3 生成数据有效性 128
5.3.4 数据混合策略 129
5.3.5 基础模块升级 131
5.3.6 扩散模型解码器 133
5.3.7 算法局限性 133
5.4 小结 134
第6章 训练自己的Stable Diffusion 135
6.1 低成本训练神器LoRA 135
6.1.1 LoRA的基本原理 135
6.1.2 LoRA的代码实现 136
6.1.3 用于图像生成任务 138
6.2 Stable Diffusion WebUI体验图像生成 139
6.2.1 本地AI图像生成模型 140
6.2.2 开源社区中的模型 142
6.2.3 体验AI图像生成功能 143
6.2.4 将多个模型进行融合 144
6.2.5 灵活的LoRA模型 146
6.3 Stable Diffusion代码实战 150
6.3.1 训练数据准备 151
6.3.2 基础模型的选择与使用 154
6.3.3 一次完整的训练过程 155
6.4 小结 157
书单推荐
