无分类器引导 CFG
1. 基本思路
Classifier-Free Diffusion Guidance 由 Jonathan Ho 和 Tim Salimans 提出,研究的是条件扩散生成中的引导方式。DDPM 说明怎样学习去噪,DDIM 说明怎样安排采样更新;接下来的问题是:已经给定图像类别或文本描述,怎样让生成结果更突出这些条件?
条件扩散模型在预测噪声时,除了接收带噪图像和时刻,还接收条件。例如,类别条件模型接收“某一犬种”的标签,文本条件模型接收描述的编码。模型学到的是符合条件的一整类图像,其中可以包含不同角度、背景与细节。实际生成时,有时希望条件更明确、主体更容易辨认,并愿意为此减少一部分变化范围。
一种已有方法是分类器引导:额外训练一个能够识别带噪图像的分类器,生成时用它的梯度修正去噪方向。这个分类器需要适应各个噪声程度,因此也增加了训练和使用成本。
CFG 的思路是用去噪网络自身构造引导信号。 同一个网络既回答“给定条件时怎样去噪”,也回答“不给条件时怎样去噪”。两种预测的差异提供条件带来的修正,生成时再调节这份修正的强度。这里的“无分类器”指无需额外分类网络,训练数据仍然可以带有类别或文本条件。
原论文使用连续噪声时间,主要实验是 ImageNet 类别条件生成。本文沿用前两篇的离散时刻与噪声预测记号,先讲清这套计算,再说明它如何用于文本条件生成。
2. 条件预测
2.1 条件怎样参与去噪
设训练样本为图像与条件组成的一对 \((x_0,c)\)。按 DDPM 的累计加噪公式,随机选择时刻并构造:
\[ x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\qquad\epsilon\sim\mathcal N(0,I). \]\(x_0\) 是清晰图像,\(\bar\alpha_t\) 是累计信号系数,\(\epsilon\) 是这次实际加入的噪声。条件网络计算 \(\epsilon_\theta(x_t,t,c)\),目标仍是预测这份噪声。
条件的作用,是帮助网络判断当前带噪内容可能来自哪些图像。噪声较大时,局部观察不足以确定主体,类别或文本就能提供额外约束;噪声较小时,条件继续参与特征更新,影响更具体的结构和细节。条件因此要在多次去噪中持续提供。
不同模型可以用不同方式注入条件。类别标签通常先转换成可学习向量,再与时间特征一起调节网络;文本则可以编码成一组 token 特征,通过交叉注意力供图像特征读取。CFG 使用的是两次预测的组合,不要求其中某一种注入结构。
2.2 一个网络学习两种任务
为了得到不依赖条件的预测,训练时以概率 \(p_{\mathrm{drop}}\) 将条件替换为空条件:
\[ \tilde c=\begin{cases}\varnothing,&\text{以概率 }p_{\mathrm{drop}},\\c,&\text{以概率 }1-p_{\mathrm{drop}}.\end{cases} \]\(\varnothing\) 是模型约定的空条件表示。类别模型可以为它分配一个专门的可学习向量;文本模型可以使用空文本的编码。它是否为零向量,取决于模型的具体实现。
训练目标为:
\[ \mathcal L=\mathbb E_{x_0,c,t,\epsilon,\tilde c}\!\left[\|\epsilon-\epsilon_\theta(x_t,t,\tilde c)\|^2\right]. \]保留条件的样本训练有条件预测,丢弃条件的样本训练无条件预测。两种任务共用同一套网络参数;一次训练样本只需按照抽到的条件状态计算预测。 空条件样本仍由原训练图像加噪得到,只是网络这次不能使用其标签或描述。
因此,无条件分支学习整个训练图像分布中的去噪规律,为条件分支提供共同的生成基础。
3. 引导计算
3.1 组合两种预测
生成时固定当前状态 \(x_t\) 和时刻 \(t\),用同一个网络得到:
\[ \epsilon_u=\epsilon_\theta(x_t,t,\varnothing),\qquad \epsilon_c=\epsilon_\theta(x_t,t,c). \]\(\epsilon_u\) 是无条件预测,\(\epsilon_c\) 是有条件预测。二者接收相同的带噪图像,区别只在条件,因此可以比较条件使预测发生了怎样的变化。
CFG 将两者组合成:
\[ \boxed{\hat\epsilon_t=\epsilon_u+s(\epsilon_c-\epsilon_u)}. \]\(s\) 为本文采用的引导尺度,也是许多生成工具中 guidance scale 的常见约定。它先以无条件预测为起点,再沿两种预测的差异调整:
| 引导尺度 | 组合结果 | 含义 |
|---|---|---|
| \(s=0\) | \(\epsilon_u\) | 使用无条件预测 |
| \(s=1\) | \(\epsilon_c\) | 使用普通有条件预测 |
| \(s>1\) | 越过 \(\epsilon_c\) 继续沿差异方向调整 | 加强条件带来的修正 |
因此,常见的增强引导使用的是外推:生成方向超过了有条件预测本身。两种预测都包含图像生成的共同规律,取差异后更集中地保留条件造成的变化;统一放大整个有条件输出,则会连共同部分一起放大,作用不同。
原论文将同一个公式写成:
\[ \hat\epsilon_t=(1+w)\epsilon_c-w\epsilon_u. \]两种记号满足 \(s=1+w\)。论文中“不额外引导”的 \(w=0\),对应本文的 \(s=1\);阅读实验表或对照实现时,要先确认使用哪一种约定。
3.2 差异为什么能提供引导
前面的计算已经足够实现 CFG。要进一步理解它为什么有用,可以沿用 DDPM 中的 score(分数函数):对图像变量求对数密度的梯度,表示当前位置附近密度上升的方向。
将时刻 \(t\) 的无条件和有条件 score 分别记为:
\[ g_u=\nabla_{x_t}\log q_t(x_t),\qquad g_c=\nabla_{x_t}\log q_t(x_t\mid c). \]这里的 \(q_t\) 是训练图像在相应时刻加噪后形成的分布。根据贝叶斯公式:
\[ q_t(x_t\mid c)=\frac{q_t(c\mid x_t)\,q_t(x_t)}{q(c)}. \]取对数并对 \(x_t\) 求导,条件自身的概率 \(q(c)\) 与当前图像无关,于是:
\[ g_c-g_u=\nabla_{x_t}\log q_t(c\mid x_t). \]有条件与无条件 score 的差异,正好描述怎样改变当前图像,能使给定条件更容易成立。 分类器引导显式训练分类器估计右侧梯度;CFG 则通过两种生成预测的差异,获得相应的修正信号。
在噪声预测参数化下,score 与预测噪声相差一个已知的负比例系数:
\[ g_\theta(x_t,t,c)=-\frac{\epsilon_\theta(x_t,t,c)}{\sqrt{1-\bar\alpha_t}}. \]同一时刻的比例系数相同,所以噪声预测中的线性组合,也对应 score 的同样组合:
\[ g_{\mathrm{cfg}}=g_u+s(g_c-g_u). \]在准确 score 的理想情况下,这个方向可进一步写为:
\[ g_{\mathrm{cfg}}=\nabla_{x_t}\log\!\left[q_t(x_t)\,q_t(c\mid x_t)^s\right]. \]它在当前噪声层级上,对条件更明确的区域增加权重。随着 \(s\) 增大,这些区域更受偏好,符合条件但辨识度较低的变化则可能被压低。这个关系解释了引导方向的来源;最终图像仍由多个噪声层级上的连续更新得到。

图中用二维分布表示三类数据,每个深色区域对应一类。最左侧没有引导,从左到右逐渐加强;各类的主要质量向更容易与其他类区分的位置集中,覆盖区域也变小。这是对理想分布重加权的示意,帮助理解“条件更明确”与“变化范围更小”为什么会同时发生。
4. 训练与生成
4.1 训练步骤
训练需要带条件的数据,以及支持空条件的去噪网络。一次参数更新可以按以下步骤进行:
- 抽取图像与条件 \((x_0,c)\),随机选择时刻 \(t\)。
- 抽取高斯噪声 \(\epsilon\),构造带噪图像 \(x_t\)。
- 以设定概率将 \(c\) 替换为空条件,得到 \(\tilde c\)。
- 用 \(x_t,t,\tilde c\) 预测噪声,计算与实际噪声的平方误差。
- 反向传播,更新去噪网络及参与训练的条件参数。
训练中的丢弃概率决定两种任务获得多少样本;生成中的引导尺度决定怎样组合两种预测。这是两个独立的设置,训练完成后可以调整引导尺度,无需每换一个尺度就重新训练。
使用已有模型时,应选用经过条件丢弃训练、支持空条件预测的网络。
4.2 每一步怎样采样
生成从高斯噪声出发。每个时刻先计算两种预测,用 CFG 得到 \(\hat\epsilon_t\),然后将它交给采样器。以确定性 DDIM 为例,先估计清晰图像:
\[ \hat x_0=\frac{x_t-\sqrt{1-\bar\alpha_t}\,\hat\epsilon_t}{\sqrt{\bar\alpha_t}}. \]再更新到时间表中下一个较低噪声时刻 \(r<t\):
\[ x_r=\sqrt{\bar\alpha_r}\,\hat x_0+\sqrt{1-\bar\alpha_r}\,\hat\epsilon_t. \]这里用 \(r\) 表示下一采样时刻,以免与引导尺度 \(s\) 混淆。当前步骤结束后,用新的 \(x_r,r\) 重新计算两种预测,再重复上述过程。
完整生成流程由此分成:准备条件和初始噪声、选择采样时间表、每步计算 CFG 预测、由采样器更新状态、在终点输出图像。若采用 DDPM,则将同一份引导预测代入 DDPM 的均值公式,并按相应方差加入随机项。
CFG 决定用什么预测方向,采样器决定怎样根据预测更新状态。 所以 CFG 可以与 DDIM 的跳步同时使用;改变引导强度不会直接改变采样步数,减少步数也不会自动得到更强引导。
通常每步需要一份有条件预测和一份无条件预测。实现中可以把同一个 \(x_t\) 复制到批次的两部分,分别配上条件与空条件,一次批处理得到两种输出。这样便于并行,但计算量仍包含两份网络预测,显存需求也会增加。
5. 实验结果
原论文在 \(64\times64\) 与 \(128\times128\) 的 ImageNet 类别条件生成上评估 CFG。每种设置生成 50,000 张图像,并比较 FID 与 IS:FID 比较真实、生成图像的特征分布,越低越好;IS 结合生成图像的类别辨识度与整体类别覆盖,越高越好。
下面摘录原论文 Table 2 中 128×128、256 步采样的结果,同时列出论文的 \(w\) 和本文的 \(s\):
| 论文 \(w\) | 本文 \(s\) | FID ↓ | IS ↑ |
|---|---|---|---|
| 0 | 1 | 7.27 | 82.45 |
| 0.1 | 1.1 | 4.53 | 106.12 |
| 0.3 | 1.3 | 2.43 | 158.47 |
| 1 | 2 | 7.86 | 297.98 |
| 4 | 5 | 21.53 | 421.03 |
适度引导明显改善 FID,继续增强则使 IS 升高、FID 反而变差。原因在于,类别更容易辨认并不等于整个生成分布更接近真实数据;如果过度集中在少数典型外观,其他符合条件的图像变化也会减少。因此,选择引导尺度要结合条件符合程度、整体质量和多样性。

图中每类左侧使用普通有条件预测,右侧使用论文的 \(w=3\),即本文的 \(s=4\)。右侧更突出典型类别特征,也能观察到较强的色彩饱和。图像展示的是不同设置下的样本集合,统计质量仍需结合表中的整体评估。
论文还改变条件丢弃概率。在 64×64 实验中,0.1 与 0.2 的整体表现接近,0.5 较差。这说明联合训练需要保留足够的条件学习机会,空条件样本占比更高并不会必然提供更好的引导。
步数实验则表明,增加采样步数仍能改善质量。在 128×128 设置中,论文认为 256 步取得了较好的速度与质量平衡;比较其他方法的速度时,还需计入 CFG 每步的两份去噪预测。
6. 联系与局限
CFG 增加的是条件控制的强度,并没有重新设计加噪过程或去噪主干。同样的组合可以用于像素空间的 U-Net,也可以用于后续 LDM 的潜空间预测,以及 DiT 的 Transformer 主干。需要具备的是相同状态下的有条件与无条件预测。
用于文本生成图像时,条件通常是文本编码器输出的一组特征。提示词先经编码,网络在每一步根据这些特征预测噪声,再与空文本条件下的预测组合。空文本分支仍保留模型从训练数据学到的图像规律,提示词分支则提供当前描述带来的修正。
一些工具还允许把空文本换成负面提示词。此时比较的是正向描述与另一份描述下的预测,基准分支已经带有条件。它可以沿用相同的组合形式,但应按实际输入理解生成方向,而不是把负面描述当作空条件的别名。
引导尺度也无法补充模型从未学会的知识。条件描述含糊、训练数据不足,或网络本身的细节建模能力有限时,放大两种预测的差异可能同时放大误差。较强引导还会增加饱和、失真和样本过于相似的风险,因此通常需要在固定模型、采样器和随机种子后比较尺度。
接下来的 LDM 将重点转向生成所用的图像表示:把反复去噪放到压缩后的空间,降低计算成本;ControlNet 进一步引入边缘、深度或姿态等空间条件;DiT 则研究如何用 Transformer 承担去噪计算。CFG 可以与这些方法组合,但分别解决不同的问题。
参考资料
- Jonathan Ho, Tim Salimans. Classifier-Free Diffusion Guidance. arXiv:2207.12598。本文依据 2022 年 arXiv v1;联合训练与引导见 §3.2、Algorithm 1–2,实验见 §4、Table 1–2;配图来自 Figure 2–3。短版发表于 NeurIPS 2021 的 Deep Generative Models and Downstream Applications Workshop。
- Prafulla Dhariwal, Alex Nichol. Diffusion Models Beat GANs on Image Synthesis. NeurIPS 2021. arXiv:2105.05233。分类器引导的来源。
- Ho, Jain, Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS 2020. arXiv:2006.11239。累计加噪、噪声预测和 score 联系的基础。
- Song, Meng, Ermon. Denoising Diffusion Implicit Models. ICLR 2021. arXiv:2010.02502。本文生成流程所用的确定性更新。