隐式扩散模型 DDIM
1. 基本思路
DDIM(Denoising Diffusion Implicit Models,去噪扩散隐式模型) 由 Jiaming Song、Chenlin Meng 和 Stefano Ermon 于 2020 年提出,发表于 ICLR 2021。它承接 DDPM:网络已经学会在不同噪声程度下预测噪声,能否让它用更少的次数完成生成?理解这篇论文需要 DDPM 的累计加噪与噪声预测公式,不要求先学完 Transformer。
DDPM 从 \(x_T\sim\mathcal N(0,I)\) 出发,依次生成 \(x_{T-1},\ldots,x_0\)。若 \(T=1000\),一次生成通常需要调用去噪网络 1000 次。每次更新之间存在依赖,不能把这些调用全部并行执行;图像越大,反复运行网络的成本越明显。
但训练没有逐步模拟这 1000 个状态。它随机选取一个时刻 \(t\),直接构造:
\[ x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\qquad\epsilon\sim\mathcal N(0,I). \]网络接收 \(x_t,t\),预测这次构造使用的累计噪声 \(\epsilon\)。这一任务规定了每个时刻应当看到怎样的带噪图像,却没有直接规定同一条路径中的 \(x_t\) 必须怎样与 \(x_{t-1}\) 配对。
DDIM 的出发点,是保留各时刻的训练任务,改变连接这些时刻的路径。 先证明新的路径仍具有相同的加噪分布,再用已有网络构成对应的生成更新,最后将更新推广到不相邻的时刻。这样,减少采样步数就有了明确的计算规则。
全文沿用前一篇的记号:\(\alpha_t=1-\beta_t\) 是单步信号保留系数,\(\bar\alpha_t=\prod_{u=1}^t\alpha_u\) 是累计系数,约定 \(\bar\alpha_0=1\)。随着 \(t\) 增大,\(\bar\alpha_t\) 减小,噪声增大。DDIM 原论文把这个累计系数直接写作 \(\alpha_t\);对照原文时,应将它理解为本文的 \(\bar\alpha_t\)。
2. 前向路径
2.1 边缘分布
DDPM 的累计加噪公式对应条件分布:
\[ q(x_t\mid x_0)=\mathcal N\!\left(\sqrt{\bar\alpha_t}x_0,(1-\bar\alpha_t)I\right). \]它描述固定原图后,某个时刻的噪声状态怎样分布。若从整条路径的联合分布 \(q(x_{1:T}\mid x_0)\) 中积分掉其他时刻,只留下 \(x_t\),就得到这个分布,因此称为该时刻的边缘分布。
边缘与路径的区别在于:前者只规定每个时刻各自的统计规律,后者还规定不同时刻如何共同变化。例如,两组随机变量可以各自都服从标准高斯,但它们既可以相互独立,也可以每次取相同的数值;两种情况下,各自的分布相同,彼此的关联却不同。
DDPM 用逐步加入独立噪声的马尔可夫链确定这种关联。DDIM 放宽这一条件:只要 \(q(x_t\mid x_0)\) 保持不变,训练时构造 \(x_t\)、预测累计噪声的任务就能保持不变。 接下来需要找到一条具体的新路径,而不能任意删去原过程中的步骤。
2.2 路径构造
先考虑两个相邻时刻 \(t\) 与 \(t-1\)。假设原图 \(x_0\) 已知,将当前状态中标准化的噪声部分记为:
\[ r_t=\frac{x_t-\sqrt{\bar\alpha_t}x_0}{\sqrt{1-\bar\alpha_t}}. \]给定 \(x_0\),由前面的边缘分布可知 \(r_t\sim\mathcal N(0,I)\)。现在构造一个噪声较少的状态:一部分沿用 \(r_t\),另一部分来自新抽取的独立噪声 \(z\)。
\[ x_{t-1}=\sqrt{\bar\alpha_{t-1}}x_0+\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,r_t+\sigma_tz. \]其中 \(z\sim\mathcal N(0,I)\),并要求 \(0\leq\sigma_t^2\leq1-\bar\alpha_{t-1}\),使根号有定义。\(\sigma_t^2\) 决定新噪声分配的方差;它增加时,沿用当前噪声的系数就相应减小。
这个构造保留所需分布的原因可以直接核对。给定 \(x_0\),两个噪声项均值为零且相互独立,所以:
\[ \mathbb E[x_{t-1}\mid x_0]=\sqrt{\bar\alpha_{t-1}}x_0. \]\[ \operatorname{Cov}(x_{t-1}\mid x_0)=\bigl[(1-\bar\alpha_{t-1}-\sigma_t^2)+\sigma_t^2\bigr]I. \]协方差恰好为 \((1-\bar\alpha_{t-1})I\)。又因为噪声是独立高斯的线性组合,\(x_{t-1}\) 也服从高斯,因此其边缘分布正是所需的 \(q(x_{t-1}\mid x_0)\)。改变 \(\sigma_t\),改变的是两个时刻之间的关联,单个时刻的加噪分布仍然相同。
由末端 \(q(x_T\mid x_0)\) 开始,按上述条件逐步构造,就能得到一整族路径分布,记为 \(q_\sigma\)。原论文将它写成倒序的条件分解:
\[ q_\sigma(x_{1:T}\mid x_0)=q(x_T\mid x_0)\prod_{t=2}^Tq_\sigma(x_{t-1}\mid x_t,x_0). \]这里的倒序分解是定义联合分布的方式,仍以已知原图为条件;它还不是生成算法。按照刚才的均值、方差核对,可以从 \(T\) 向前逐步确认每个时刻都保留相同边缘。
原来的前向马尔可夫链在给定 \(x_{t-1}\) 后,不再需要 \(x_0\) 来产生 \(x_t\)。新路径按前向顺序写出时,一般仍会依赖 \(x_0\),因此称为非马尔可夫前向过程。这描述的是辅助路径的构造,实际生成时不需要保存整条历史。
2.3 训练复用
路径构造暂时使用了真实 \(x_0\)。与 DDPM 一样,它的作用是提供可分析的训练参照,真正生成时还要将未知原图换成网络估计。
网络训练仍可使用:
\[ L_{\mathrm{simple}}=\mathbb E_{x_0,t,\epsilon}\!\left[\|\epsilon-\epsilon_\theta(x_t,t)\|^2\right]. \]训练样本的构造没有改变:原图、随机时刻与标准高斯噪声仍按相同方式抽取,\(x_t\) 仍由相同累计加噪公式产生。训练不必抽取 \(x_{t-1}\),也不必为每种 \(\sigma\) 重新采一条路径。
从概率目标看,当各步方差严格为正时,原论文证明:新的路径对应的变分目标,仍可化为带正权重的噪声预测平方误差,加上与参数无关的常数。原因与 DDPM 相同:参照条件和生成条件采用相同方差时,高斯 KL 中与网络有关的部分只比较均值,代入噪声参数化后就是噪声预测误差。
相同预测任务与目标权重
不同路径可能对应不同的时间权重,并非所有原始变分目标都与 \(L_{\mathrm{simple}}\) 数值相等。如果每个时刻都能独立达到最优,正权重不改变各时刻的最优预测;实际所有时刻共用有限的网络,权重仍会影响训练结果。论文沿用不加权的简化目标,并通过复用预训练 DDPM 验证其有效性。后面 \(\sigma=0\) 的确定性情形是这族更新的边界,不能直接套用要求严格正方差的 KL 证明。
因此,复用的是已经学会不同噪声程度的噪声预测网络。加噪日程、输入缩放、时间标记等训练约定也需相匹配;DDIM 不要求更换 U-Net 或增加一个专门预测跳步结果的网络。
3. 反向生成
3.1 原图估计
生成从随机噪声开始,无法使用真实 \(x_0\)。先调用已有网络,记预测为 \(\hat\epsilon_t=\epsilon_\theta(x_t,t)\),再从累计加噪公式中换算出清晰图像估计:
\[ \hat x_0=\frac{x_t-\sqrt{1-\bar\alpha_t}\,\hat\epsilon_t}{\sqrt{\bar\alpha_t}}. \]这不是一次额外的网络推理,而是对同一份噪声预测做代数变换。\(\hat x_0\) 估计的是最终清晰图像,接下来还需要由它生成下一时刻的带噪状态。
固定 \(x_t\) 时,原图与累计噪声通常不唯一确定。平方误差训练使网络趋向预测可能噪声的条件均值,因此 \(\hat\epsilon_t\) 不保证等于某次真实加噪记录,\(\hat x_0\) 也不保证找回某张真实原图。每到一个新时刻,网络都会根据新状态重新预测,逐步修正估计。
3.2 生成更新
将路径构造中的 \(x_0\) 换成 \(\hat x_0\)。此时标准化残差也相应变为:
\[ \frac{x_t-\sqrt{\bar\alpha_t}\,\hat x_0}{\sqrt{1-\bar\alpha_t}}=\hat\epsilon_t. \]于是得到可实际执行的相邻步更新:
\[ x_{t-1}=\sqrt{\bar\alpha_{t-1}}\,\hat x_0+\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\hat\epsilon_t+\sigma_tz. \]三项分别承担不同作用:
- \(\sqrt{\bar\alpha_{t-1}}\,\hat x_0\):按下一时刻的信号强度放置清晰图像估计。
- \(\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\hat\epsilon_t\):沿用当前预测的噪声方向,保留下一时刻仍需具有的部分噪声。
- \(\sigma_tz\):加入独立的新随机噪声,补足分配给它的方差。
第二项并不多余。只要下一状态还没有到达 \(x_0\),它就应当仍带有噪声,而不能在每一步直接输出一张清晰图像。原论文将这一项称为“指向 \(x_t\) 的方向”:它使下一状态与当前状态保持关联。
第 2 节关于边缘不变的证明使用了真实 \(x_0\) 和真实残差。这里使用网络预测后,得到的是近似的生成过程;不能据此断言任意网络、任意步数都产生完全相同的图像分布。
3.3 确定性更新
令每一步 \(\sigma_t=0\),新随机噪声项消失:
\[ \boxed{x_{t-1}=\sqrt{\bar\alpha_{t-1}}\,\hat x_0+\sqrt{1-\bar\alpha_{t-1}}\,\hat\epsilon_t}. \]这就是确定性的 DDIM 更新。固定当前状态后,下一状态由网络预测与已知系数确定,不再额外采样。若固定初始 \(x_T\)、模型参数和时间表,整条生成路径也随之确定;改变初始噪声,仍然可以生成不同图像。
“隐式模型”指通过从随机变量到样本的生成映射来定义分布。这里从高斯噪声 \(x_T\) 经过固定的迭代计算得到图像,不需要先给出一个容易直接计算的图像密度函数。
这与 DDPM 一文中“只输出反向均值会丢掉波动”的说明并不冲突。那个结论针对既定的 DDPM 转移:保持均值不变,只删掉随机项。DDIM 则连同第二项的系数一起调整,将更多当前噪声方向保留到下一状态。改变条件关系后,确定性映射也能传递初始噪声带来的随机性。
不过,确定性本身不会减少网络调用。如果仍访问全部 \(T\) 个时刻,就仍需要 \(T\) 次噪声预测。真正的加速还要使用下面的跳步更新。
4. 跳步采样
4.1 时间子序列
第 2 节的构造只要求知道两个时刻的累计信号系数,并不要求它们必须相邻。因此可以选择原时间表的一个子序列:
\[ 0=\tau_0<\tau_1<\cdots<\tau_S=T. \]生成按相反顺序访问 \(\tau_S,\tau_{S-1},\ldots,\tau_0\)。令当前时刻为 \(t=\tau_i\),下一时刻为 \(s=\tau_{i-1}\),同样先预测 \(\hat\epsilon_t\)、计算 \(\hat x_0\),再更新:
\[ \boxed{x_s=\sqrt{\bar\alpha_s}\,\hat x_0+\sqrt{1-\bar\alpha_s-\sigma_{t,s}^2}\,\hat\epsilon_t+\sigma_{t,s}z}. \]其中 \(\sigma_{t,s}\) 表示这次从 \(t\) 到 \(s\) 的噪声标准差。令它为零,就得到任意所选时刻之间的 DDIM 更新。构造新路径时,只在这些时刻之间保持所需边缘,生成也就只需访问这些状态。
以原训练 \(T=1000\)、生成只用 \(S=5\) 为例,可以示意选择:
| 网络接收的时刻 \(t\) | 本次生成的时刻 \(s\) |
|---|---|
| 1000 | 800 |
| 800 | 600 |
| 600 | 400 |
| 400 | 200 |
| 200 | 0 |
每行调用网络一次,共 5 次。这只用于说明索引,不表示 5 步足以获得好图。网络仍接收原训练约定下的时间标记,系数也从原来的 \(\bar\alpha\) 表中读取;不能把这些状态重新编号为 5、4、3、2、1 后,再用新编号查询原噪声表。
均匀选取只是最直接的方案,也可让访问时刻在某些噪声区间更密集。不同时间表会影响预测误差的积累,步数相同也未必得到相同质量。
4.2 随机强度
原论文用一个参数 \(\eta\) 统一控制采样随机性:
\[ \sigma_{t,s}(\eta)=\eta\sqrt{\frac{1-\bar\alpha_s}{1-\bar\alpha_t}}\sqrt{1-\frac{\bar\alpha_t}{\bar\alpha_s}}. \]本文考虑 \(0\leq\eta\leq1\)。在这个范围内,\(\sigma_{t,s}^2\leq1-\bar\alpha_s\),方向项的根号有定义。\(\eta\) 不是直接乘在整张图上的噪声比例,而是通过两个时刻的系数确定本次标准差。
- \(\eta=0\):没有额外随机噪声,使用确定性 DDIM。
- \(0<\eta<1\):保留一部分随机采样,同时减小沿用噪声方向的系数。
- \(\eta=1\):在所选时间表上得到采用后验方差的 DDPM 型更新。
最后一项可以与 DDPM 精确对照。若访问相邻时刻 \(s=t-1\),则 \(\bar\alpha_t/\bar\alpha_{t-1}=\alpha_t\),所以:
\[ \sigma_{t,t-1}^2(1)=\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t=\tilde\beta_t. \]将它代入生成更新,整理 \(x_t\) 与 \(\hat\epsilon_t\) 的系数,就会恢复 DDPM 的均值公式。这里对应 DDPM 中选择 \(\tilde\beta_t\) 的版本;采用更大方差 \(\beta_t\) 的版本要另行区分。
若 \(s<t-1\),相应的单步信号保留系数变为 \(\bar\alpha_t/\bar\alpha_s\)。因此跳步也能构成 DDPM 型更新,但需要重算系数,不能沿用原来只适用于 \(t\to t-1\) 的公式。
到达 \(s=0\) 时,\(\bar\alpha_0=1\),上式给出 \(\sigma_{t,0}=0\),方向项也为零,因而最后一步直接输出 \(\hat x_0\)。最后一个网络输入仍是正的噪声时刻,不需要再调用一次 \(t=0\) 的网络。
4.3 单步示例
用一个像素通道演示确定性跳步。假设当前 \(x_t=0.5\),网络预测 \(\hat\epsilon_t=0.25\),两个时刻的累计系数为 \(\bar\alpha_t=0.36\)、\(\bar\alpha_s=0.64\)。这些值只用于展示计算,不代表某个真实训练日程。
先估计清晰值:
\[ \hat x_0=\frac{0.5-0.8\times0.25}{0.6}=0.5. \]取 \(\eta=0\),再放置下一时刻所需的信号与噪声:
\[ x_s=0.8\times0.5+0.6\times0.25=0.55. \]本次只运行了一次网络。中间没有先生成所有被跳过的状态,也没有再次调用网络预测 \(x_s\);到下一轮,才以 \(x_s,s\) 为新输入。\(x_s\) 仍包含预测噪声方向,\(\hat x_0\) 则是本次对清晰值的估计,两者用途不同。
5. 训练与生成
5.1 训练步骤
若从头训练,仍按 DDPM 的简化噪声预测任务进行:
- 从数据集抽取 \(x_0\),随机选取训练时刻 \(t\)。
- 抽取 \(\epsilon\sim\mathcal N(0,I)\),按累计加噪公式得到 \(x_t\)。
- 计算 \(\epsilon_\theta(x_t,t)\) 与 \(\epsilon\) 的平方误差。
- 反向传播并更新网络参数。
这个阶段不需要先决定最终生成用 20 步还是 100 步,也不需要在每次训练中运行 DDIM 采样。若已有相匹配的 DDPM 噪声预测网络,可以直接进入生成阶段。
DDIM 改变的是采样规则。在常用生成工具里,这类规则经常由 scheduler 管理,包括选择时刻、读取噪声系数和计算下一状态。它与训练优化器中调整学习率的 scheduler 是不同用途。
5.2 采样步骤
固定网络参数,准备原训练噪声表、采样时刻 \(\tau\) 与 \(\eta\)。一次生成可写为:
- 抽取初始 \(x_T\sim\mathcal N(0,I)\)。
- 从 \(i=S\) 到 \(1\),令 \(t=\tau_i\)、\(s=\tau_{i-1}\)。
- 调用网络得到 \(\hat\epsilon_t\),换算 \(\hat x_0\)。
- 由 \(t,s,\eta\) 算出 \(\sigma_{t,s}\),使用第 4 节通式得到 \(x_s\);需要随机项时重新抽取独立 \(z\)。
- 到达时刻 0,得到生成图像;再按训练时的像素缩放规则转换为显示范围。
不考虑额外条件分支时,\(S\) 次更新对应 \(S\) 次网络调用。将 1000 步减少到 50 步,直接减少的是调用次数;端到端耗时还受图像尺寸、批量、设备与其他操作影响,不能只由步数比例断言实际速度。
实际复现时,先固定模型、噪声日程、时间表和随机种子,再单独比较步数或 \(\eta\)。某些实现还会裁剪 \(\hat x_0\) 或重新计算噪声方向,这些处理会改变上面的纯更新公式,比较结果时需保持相同约定。
6. 实验结果
6.1 速度与质量
原论文在 CIFAR-10、CelebA、LSUN Bedroom 与 LSUN Church 上评估采样。CIFAR-10 和 LSUN 实验复用 DDPM 发布的模型,CelebA 则另行训练;比较采样方式时保持各数据集的网络参数相同。论文报告了特定实验配置下约 10~50 倍的实际采样加速。
下表摘录原论文 Table 1 的 CIFAR-10 结果。FID 比较真实与生成图像的特征分布,越低越好;各设置生成 50,000 张图像进行评估。
| 步数 | \(\eta=0\):FID ↓ | \(\eta=1\):FID ↓ |
|---|---|---|
| 10 | 13.36 | 41.07 |
| 20 | 6.84 | 18.36 |
| 50 | 4.67 | 8.01 |
| 100 | 4.16 | 5.78 |
| 1000 | 4.04 | 4.73 |
在这组实验中,DDIM 使用较少步数时明显优于 \(\eta=1\) 的采样,增加步数也能改善质量。但 10 步与 1000 步之间仍有差距,不能把加速理解为任意减少步数都没有代价。
这里比较的是两种指定方差下的采样。原表还报告了采用更大随机方差的 DDPM 对照,其 1000 步 FID 为 3.17;因此,上表不能解读为 DDIM 在所有条件下都优于 DDPM。CIFAR-10 的少步实验还采用了非均匀时间子序列,不能将所有结果归因于均匀跳步。

图中上下两行分别为 CIFAR-10 与 CelebA,每行左右两组分别使用 10、100 步。每组由上到下改变 \(\eta\),最后一行是更大方差的对照。少步条件下,不同更新方式会造成明显质量差异;图像只作直观展示,整体比较仍需结合前面的统计指标。
6.2 路径一致性
确定性更新还有一个便于观察的性质:初始 \(x_T\) 确定后,最终样本由所选时间表下的固定映射产生。论文进一步比较同一初始噪声在不同时刻数量下的结果:

同一列使用相同 \(x_T\),不同行使用不同步数。物体形态、房间布局与建筑轮廓往往保持相近,细节与清晰度则发生变化。跨步数的相似性是实验观察,结果并不严格相同;它也不是后来名为 Consistency Models 的模型方法。
由于随机性集中在初始变量,论文还在两份初始噪声之间做球面插值:沿二者的夹角逐渐改变方向,构造中间噪声,再分别使用 50 步 DDIM 生成图像。

从左到右的变化发生在生成起点,再经同一个模型转换为图像,因此能观察到较连续的语义变化。这不是把两张输出图的像素直接混合,也不要求先把已有照片编码到噪声空间。这里的“潜变量”指初始高斯噪声 \(x_T\),与后续 LDM 中用图像编码器得到的压缩表示含义不同。
7. 联系与局限
DDIM 将两件事分开处理:训练网络学习各个噪声程度下的预测任务,采样器决定怎样利用这些预测走向图像。 这种分离解释了为何同一网络可以使用不同步数、不同随机强度生成,也为后续更高效的采样方法提供了基础。
确定性更新还能联系到连续时间路径。令 \(u_t=x_t/\sqrt{\bar\alpha_t}\),用噪声与信号的比值标记时间:
\[ \rho_t=\sqrt{\frac{1-\bar\alpha_t}{\bar\alpha_t}}. \]将 \(\eta=0\) 的跳步公式除以 \(\sqrt{\bar\alpha_s}\),并代入 \(\hat x_0\),可得:
\[ u_s=u_t+(\rho_s-\rho_t)\hat\epsilon_t. \]它具有一阶数值积分的形式:在当前状态预测方向,乘以这次时间间隔,再更新状态。时刻足够密集时,可以联系到常微分方程的连续演化;减少步数则增大每次跨度。这提供了理解采样误差的另一个角度,但不需要先求解微分方程才能执行 DDIM。
论文也利用这一连续路径的联系研究图像到噪声再回到图像的重建。确定性只表示:给定生成起点和采样配置,输出结果固定,不自动意味着有限步算法可精确求逆。实际反向近似、网络预测误差和时间离散都会影响重建;生成时同样不能凭“边缘保持”证明完全无损。
DDIM 不解决所有生成成本:去噪网络仍然要反复运行,过少步数可能明显损害质量,时间表与实现细节也会影响结果。接下来学习 CFG 时,可以继续区分“怎样改变网络给出的预测方向”;学习 LDM 时,再看“在哪种图像表示上进行扩散”。它们与 DDIM 的采样规则处于不同层面,可以在具体系统中组合使用。
参考资料
- Jiaming Song, Chenlin Meng, Stefano Ermon. Denoising Diffusion Implicit Models. ICLR 2021. arXiv:2010.02502。本文依据 arXiv v4;路径构造见 §3.1,训练目标见 §3.2,生成与加速见 §4,实验见 §5,跳步公式见附录 C.1 与 D.3。本文图 3、5、6 及 CIFAR-10 数据来自该文。
- Ho, Jain, Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS 2020. arXiv:2006.11239。累计加噪、噪声预测训练与 DDPM 采样的来源。
- Ermon Group. DDIM 官方实现. GitHub。
functions/denoising.py中的generalized_steps对应原图估计、方向项与随机项的组合。