跳到正文
隐式扩散模型 DDIM

隐式扩散模型 DDIM

1. 基本思路

DDIM(Denoising Diffusion Implicit Models,去噪扩散隐式模型) 由 Jiaming Song、Chenlin Meng 和 Stefano Ermon 于 2020 年提出,发表于 ICLR 2021。它承接 DDPM:网络已经学会在不同噪声程度下预测噪声,能否让它用更少的次数完成生成?理解这篇论文需要 DDPM 的累计加噪与噪声预测公式,不要求先学完 Transformer。

DDPM 从 \(x_T\sim\mathcal N(0,I)\) 出发,依次生成 \(x_{T-1},\ldots,x_0\)。若 \(T=1000\),一次生成通常需要调用去噪网络 1000 次。每次更新之间存在依赖,不能把这些调用全部并行执行;图像越大,反复运行网络的成本越明显。

但训练没有逐步模拟这 1000 个状态。它随机选取一个时刻 \(t\),直接构造:

\[ x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\qquad\epsilon\sim\mathcal N(0,I). \]

网络接收 \(x_t,t\),预测这次构造使用的累计噪声 \(\epsilon\)。这一任务规定了每个时刻应当看到怎样的带噪图像,却没有直接规定同一条路径中的 \(x_t\) 必须怎样与 \(x_{t-1}\) 配对。

DDIM 的出发点,是保留各时刻的训练任务,改变连接这些时刻的路径。 先证明新的路径仍具有相同的加噪分布,再用已有网络构成对应的生成更新,最后将更新推广到不相邻的时刻。这样,减少采样步数就有了明确的计算规则。

全文沿用前一篇的记号:\(\alpha_t=1-\beta_t\) 是单步信号保留系数,\(\bar\alpha_t=\prod_{u=1}^t\alpha_u\) 是累计系数,约定 \(\bar\alpha_0=1\)。随着 \(t\) 增大,\(\bar\alpha_t\) 减小,噪声增大。DDIM 原论文把这个累计系数直接写作 \(\alpha_t\);对照原文时,应将它理解为本文的 \(\bar\alpha_t\)。

2. 前向路径

2.1 边缘分布

DDPM 的累计加噪公式对应条件分布:

\[ q(x_t\mid x_0)=\mathcal N\!\left(\sqrt{\bar\alpha_t}x_0,(1-\bar\alpha_t)I\right). \]

它描述固定原图后,某个时刻的噪声状态怎样分布。若从整条路径的联合分布 \(q(x_{1:T}\mid x_0)\) 中积分掉其他时刻,只留下 \(x_t\),就得到这个分布,因此称为该时刻的边缘分布。

边缘与路径的区别在于:前者只规定每个时刻各自的统计规律,后者还规定不同时刻如何共同变化。例如,两组随机变量可以各自都服从标准高斯,但它们既可以相互独立,也可以每次取相同的数值;两种情况下,各自的分布相同,彼此的关联却不同。

DDPM 用逐步加入独立噪声的马尔可夫链确定这种关联。DDIM 放宽这一条件:只要 \(q(x_t\mid x_0)\) 保持不变,训练时构造 \(x_t\)、预测累计噪声的任务就能保持不变。 接下来需要找到一条具体的新路径,而不能任意删去原过程中的步骤。

2.2 路径构造

先考虑两个相邻时刻 \(t\) 与 \(t-1\)。假设原图 \(x_0\) 已知,将当前状态中标准化的噪声部分记为:

\[ r_t=\frac{x_t-\sqrt{\bar\alpha_t}x_0}{\sqrt{1-\bar\alpha_t}}. \]

给定 \(x_0\),由前面的边缘分布可知 \(r_t\sim\mathcal N(0,I)\)。现在构造一个噪声较少的状态:一部分沿用 \(r_t\),另一部分来自新抽取的独立噪声 \(z\)。

\[ x_{t-1}=\sqrt{\bar\alpha_{t-1}}x_0+\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,r_t+\sigma_tz. \]

其中 \(z\sim\mathcal N(0,I)\),并要求 \(0\leq\sigma_t^2\leq1-\bar\alpha_{t-1}\),使根号有定义。\(\sigma_t^2\) 决定新噪声分配的方差;它增加时,沿用当前噪声的系数就相应减小。

这个构造保留所需分布的原因可以直接核对。给定 \(x_0\),两个噪声项均值为零且相互独立,所以:

\[ \mathbb E[x_{t-1}\mid x_0]=\sqrt{\bar\alpha_{t-1}}x_0. \]\[ \operatorname{Cov}(x_{t-1}\mid x_0)=\bigl[(1-\bar\alpha_{t-1}-\sigma_t^2)+\sigma_t^2\bigr]I. \]

协方差恰好为 \((1-\bar\alpha_{t-1})I\)。又因为噪声是独立高斯的线性组合,\(x_{t-1}\) 也服从高斯,因此其边缘分布正是所需的 \(q(x_{t-1}\mid x_0)\)。改变 \(\sigma_t\),改变的是两个时刻之间的关联,单个时刻的加噪分布仍然相同。

由末端 \(q(x_T\mid x_0)\) 开始,按上述条件逐步构造,就能得到一整族路径分布,记为 \(q_\sigma\)。原论文将它写成倒序的条件分解:

\[ q_\sigma(x_{1:T}\mid x_0)=q(x_T\mid x_0)\prod_{t=2}^Tq_\sigma(x_{t-1}\mid x_t,x_0). \]

这里的倒序分解是定义联合分布的方式,仍以已知原图为条件;它还不是生成算法。按照刚才的均值、方差核对,可以从 \(T\) 向前逐步确认每个时刻都保留相同边缘。

原来的前向马尔可夫链在给定 \(x_{t-1}\) 后,不再需要 \(x_0\) 来产生 \(x_t\)。新路径按前向顺序写出时,一般仍会依赖 \(x_0\),因此称为非马尔可夫前向过程。这描述的是辅助路径的构造,实际生成时不需要保存整条历史。

2.3 训练复用

路径构造暂时使用了真实 \(x_0\)。与 DDPM 一样,它的作用是提供可分析的训练参照,真正生成时还要将未知原图换成网络估计。

网络训练仍可使用:

\[ L_{\mathrm{simple}}=\mathbb E_{x_0,t,\epsilon}\!\left[\|\epsilon-\epsilon_\theta(x_t,t)\|^2\right]. \]

训练样本的构造没有改变:原图、随机时刻与标准高斯噪声仍按相同方式抽取,\(x_t\) 仍由相同累计加噪公式产生。训练不必抽取 \(x_{t-1}\),也不必为每种 \(\sigma\) 重新采一条路径。

从概率目标看,当各步方差严格为正时,原论文证明:新的路径对应的变分目标,仍可化为带正权重的噪声预测平方误差,加上与参数无关的常数。原因与 DDPM 相同:参照条件和生成条件采用相同方差时,高斯 KL 中与网络有关的部分只比较均值,代入噪声参数化后就是噪声预测误差。

相同预测任务与目标权重

不同路径可能对应不同的时间权重,并非所有原始变分目标都与 \(L_{\mathrm{simple}}\) 数值相等。如果每个时刻都能独立达到最优,正权重不改变各时刻的最优预测;实际所有时刻共用有限的网络,权重仍会影响训练结果。论文沿用不加权的简化目标,并通过复用预训练 DDPM 验证其有效性。后面 \(\sigma=0\) 的确定性情形是这族更新的边界,不能直接套用要求严格正方差的 KL 证明。

因此,复用的是已经学会不同噪声程度的噪声预测网络。加噪日程、输入缩放、时间标记等训练约定也需相匹配;DDIM 不要求更换 U-Net 或增加一个专门预测跳步结果的网络。

3. 反向生成

3.1 原图估计

生成从随机噪声开始,无法使用真实 \(x_0\)。先调用已有网络,记预测为 \(\hat\epsilon_t=\epsilon_\theta(x_t,t)\),再从累计加噪公式中换算出清晰图像估计:

\[ \hat x_0=\frac{x_t-\sqrt{1-\bar\alpha_t}\,\hat\epsilon_t}{\sqrt{\bar\alpha_t}}. \]

这不是一次额外的网络推理,而是对同一份噪声预测做代数变换。\(\hat x_0\) 估计的是最终清晰图像,接下来还需要由它生成下一时刻的带噪状态。

固定 \(x_t\) 时,原图与累计噪声通常不唯一确定。平方误差训练使网络趋向预测可能噪声的条件均值,因此 \(\hat\epsilon_t\) 不保证等于某次真实加噪记录,\(\hat x_0\) 也不保证找回某张真实原图。每到一个新时刻,网络都会根据新状态重新预测,逐步修正估计。

3.2 生成更新

将路径构造中的 \(x_0\) 换成 \(\hat x_0\)。此时标准化残差也相应变为:

\[ \frac{x_t-\sqrt{\bar\alpha_t}\,\hat x_0}{\sqrt{1-\bar\alpha_t}}=\hat\epsilon_t. \]

于是得到可实际执行的相邻步更新:

\[ x_{t-1}=\sqrt{\bar\alpha_{t-1}}\,\hat x_0+\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\hat\epsilon_t+\sigma_tz. \]

三项分别承担不同作用:

  • \(\sqrt{\bar\alpha_{t-1}}\,\hat x_0\):按下一时刻的信号强度放置清晰图像估计。
  • \(\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\hat\epsilon_t\):沿用当前预测的噪声方向,保留下一时刻仍需具有的部分噪声。
  • \(\sigma_tz\):加入独立的新随机噪声,补足分配给它的方差。

第二项并不多余。只要下一状态还没有到达 \(x_0\),它就应当仍带有噪声,而不能在每一步直接输出一张清晰图像。原论文将这一项称为“指向 \(x_t\) 的方向”:它使下一状态与当前状态保持关联。

第 2 节关于边缘不变的证明使用了真实 \(x_0\) 和真实残差。这里使用网络预测后,得到的是近似的生成过程;不能据此断言任意网络、任意步数都产生完全相同的图像分布。

3.3 确定性更新

令每一步 \(\sigma_t=0\),新随机噪声项消失:

\[ \boxed{x_{t-1}=\sqrt{\bar\alpha_{t-1}}\,\hat x_0+\sqrt{1-\bar\alpha_{t-1}}\,\hat\epsilon_t}. \]

这就是确定性的 DDIM 更新。固定当前状态后,下一状态由网络预测与已知系数确定,不再额外采样。若固定初始 \(x_T\)、模型参数和时间表,整条生成路径也随之确定;改变初始噪声,仍然可以生成不同图像。

“隐式模型”指通过从随机变量到样本的生成映射来定义分布。这里从高斯噪声 \(x_T\) 经过固定的迭代计算得到图像,不需要先给出一个容易直接计算的图像密度函数。

这与 DDPM 一文中“只输出反向均值会丢掉波动”的说明并不冲突。那个结论针对既定的 DDPM 转移:保持均值不变,只删掉随机项。DDIM 则连同第二项的系数一起调整,将更多当前噪声方向保留到下一状态。改变条件关系后,确定性映射也能传递初始噪声带来的随机性。

不过,确定性本身不会减少网络调用。如果仍访问全部 \(T\) 个时刻,就仍需要 \(T\) 次噪声预测。真正的加速还要使用下面的跳步更新。

4. 跳步采样

4.1 时间子序列

第 2 节的构造只要求知道两个时刻的累计信号系数,并不要求它们必须相邻。因此可以选择原时间表的一个子序列:

\[ 0=\tau_0<\tau_1<\cdots<\tau_S=T. \]

生成按相反顺序访问 \(\tau_S,\tau_{S-1},\ldots,\tau_0\)。令当前时刻为 \(t=\tau_i\),下一时刻为 \(s=\tau_{i-1}\),同样先预测 \(\hat\epsilon_t\)、计算 \(\hat x_0\),再更新:

\[ \boxed{x_s=\sqrt{\bar\alpha_s}\,\hat x_0+\sqrt{1-\bar\alpha_s-\sigma_{t,s}^2}\,\hat\epsilon_t+\sigma_{t,s}z}. \]

其中 \(\sigma_{t,s}\) 表示这次从 \(t\) 到 \(s\) 的噪声标准差。令它为零,就得到任意所选时刻之间的 DDIM 更新。构造新路径时,只在这些时刻之间保持所需边缘,生成也就只需访问这些状态。

以原训练 \(T=1000\)、生成只用 \(S=5\) 为例,可以示意选择:

网络接收的时刻 \(t\)本次生成的时刻 \(s\)
1000800
800600
600400
400200
2000

每行调用网络一次,共 5 次。这只用于说明索引,不表示 5 步足以获得好图。网络仍接收原训练约定下的时间标记,系数也从原来的 \(\bar\alpha\) 表中读取;不能把这些状态重新编号为 5、4、3、2、1 后,再用新编号查询原噪声表。

均匀选取只是最直接的方案,也可让访问时刻在某些噪声区间更密集。不同时间表会影响预测误差的积累,步数相同也未必得到相同质量。

4.2 随机强度

原论文用一个参数 \(\eta\) 统一控制采样随机性:

\[ \sigma_{t,s}(\eta)=\eta\sqrt{\frac{1-\bar\alpha_s}{1-\bar\alpha_t}}\sqrt{1-\frac{\bar\alpha_t}{\bar\alpha_s}}. \]

本文考虑 \(0\leq\eta\leq1\)。在这个范围内,\(\sigma_{t,s}^2\leq1-\bar\alpha_s\),方向项的根号有定义。\(\eta\) 不是直接乘在整张图上的噪声比例,而是通过两个时刻的系数确定本次标准差。

  • \(\eta=0\):没有额外随机噪声,使用确定性 DDIM。
  • \(0<\eta<1\):保留一部分随机采样,同时减小沿用噪声方向的系数。
  • \(\eta=1\):在所选时间表上得到采用后验方差的 DDPM 型更新。

最后一项可以与 DDPM 精确对照。若访问相邻时刻 \(s=t-1\),则 \(\bar\alpha_t/\bar\alpha_{t-1}=\alpha_t\),所以:

\[ \sigma_{t,t-1}^2(1)=\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t=\tilde\beta_t. \]

将它代入生成更新,整理 \(x_t\) 与 \(\hat\epsilon_t\) 的系数,就会恢复 DDPM 的均值公式。这里对应 DDPM 中选择 \(\tilde\beta_t\) 的版本;采用更大方差 \(\beta_t\) 的版本要另行区分。

若 \(s<t-1\),相应的单步信号保留系数变为 \(\bar\alpha_t/\bar\alpha_s\)。因此跳步也能构成 DDPM 型更新,但需要重算系数,不能沿用原来只适用于 \(t\to t-1\) 的公式。

到达 \(s=0\) 时,\(\bar\alpha_0=1\),上式给出 \(\sigma_{t,0}=0\),方向项也为零,因而最后一步直接输出 \(\hat x_0\)。最后一个网络输入仍是正的噪声时刻,不需要再调用一次 \(t=0\) 的网络。

4.3 单步示例

用一个像素通道演示确定性跳步。假设当前 \(x_t=0.5\),网络预测 \(\hat\epsilon_t=0.25\),两个时刻的累计系数为 \(\bar\alpha_t=0.36\)、\(\bar\alpha_s=0.64\)。这些值只用于展示计算,不代表某个真实训练日程。

先估计清晰值:

\[ \hat x_0=\frac{0.5-0.8\times0.25}{0.6}=0.5. \]

取 \(\eta=0\),再放置下一时刻所需的信号与噪声:

\[ x_s=0.8\times0.5+0.6\times0.25=0.55. \]

本次只运行了一次网络。中间没有先生成所有被跳过的状态,也没有再次调用网络预测 \(x_s\);到下一轮,才以 \(x_s,s\) 为新输入。\(x_s\) 仍包含预测噪声方向,\(\hat x_0\) 则是本次对清晰值的估计,两者用途不同。

5. 训练与生成

5.1 训练步骤

若从头训练,仍按 DDPM 的简化噪声预测任务进行:

  1. 从数据集抽取 \(x_0\),随机选取训练时刻 \(t\)。
  2. 抽取 \(\epsilon\sim\mathcal N(0,I)\),按累计加噪公式得到 \(x_t\)。
  3. 计算 \(\epsilon_\theta(x_t,t)\) 与 \(\epsilon\) 的平方误差。
  4. 反向传播并更新网络参数。

这个阶段不需要先决定最终生成用 20 步还是 100 步,也不需要在每次训练中运行 DDIM 采样。若已有相匹配的 DDPM 噪声预测网络,可以直接进入生成阶段。

DDIM 改变的是采样规则。在常用生成工具里,这类规则经常由 scheduler 管理,包括选择时刻、读取噪声系数和计算下一状态。它与训练优化器中调整学习率的 scheduler 是不同用途。

5.2 采样步骤

固定网络参数,准备原训练噪声表、采样时刻 \(\tau\) 与 \(\eta\)。一次生成可写为:

  1. 抽取初始 \(x_T\sim\mathcal N(0,I)\)。
  2. 从 \(i=S\) 到 \(1\),令 \(t=\tau_i\)、\(s=\tau_{i-1}\)。
  3. 调用网络得到 \(\hat\epsilon_t\),换算 \(\hat x_0\)。
  4. 由 \(t,s,\eta\) 算出 \(\sigma_{t,s}\),使用第 4 节通式得到 \(x_s\);需要随机项时重新抽取独立 \(z\)。
  5. 到达时刻 0,得到生成图像;再按训练时的像素缩放规则转换为显示范围。

不考虑额外条件分支时,\(S\) 次更新对应 \(S\) 次网络调用。将 1000 步减少到 50 步,直接减少的是调用次数;端到端耗时还受图像尺寸、批量、设备与其他操作影响,不能只由步数比例断言实际速度。

实际复现时,先固定模型、噪声日程、时间表和随机种子,再单独比较步数或 \(\eta\)。某些实现还会裁剪 \(\hat x_0\) 或重新计算噪声方向,这些处理会改变上面的纯更新公式,比较结果时需保持相同约定。

6. 实验结果

6.1 速度与质量

原论文在 CIFAR-10、CelebA、LSUN Bedroom 与 LSUN Church 上评估采样。CIFAR-10 和 LSUN 实验复用 DDPM 发布的模型,CelebA 则另行训练;比较采样方式时保持各数据集的网络参数相同。论文报告了特定实验配置下约 10~50 倍的实际采样加速。

下表摘录原论文 Table 1 的 CIFAR-10 结果。FID 比较真实与生成图像的特征分布,越低越好;各设置生成 50,000 张图像进行评估。

步数\(\eta=0\):FID ↓\(\eta=1\):FID ↓
1013.3641.07
206.8418.36
504.678.01
1004.165.78
10004.044.73

在这组实验中,DDIM 使用较少步数时明显优于 \(\eta=1\) 的采样,增加步数也能改善质量。但 10 步与 1000 步之间仍有差距,不能把加速理解为任意减少步数都没有代价。

这里比较的是两种指定方差下的采样。原表还报告了采用更大随机方差的 DDPM 对照,其 1000 步 FID 为 3.17;因此,上表不能解读为 DDIM 在所有条件下都优于 DDPM。CIFAR-10 的少步实验还采用了非均匀时间子序列,不能将所有结果归因于均匀跳步。

原论文 Figure 3:CIFAR-10 与 CelebA 在10步和100步下使用不同随机强度的生成结果
采样步数与随机强度;来源:原论文 Figure 3,按数据集分两行排布

图中上下两行分别为 CIFAR-10 与 CelebA,每行左右两组分别使用 10、100 步。每组由上到下改变 \(\eta\),最后一行是更大方差的对照。少步条件下,不同更新方式会造成明显质量差异;图像只作直观展示,整体比较仍需结合前面的统计指标。

6.2 路径一致性

确定性更新还有一个便于观察的性质:初始 \(x_T\) 确定后,最终样本由所选时间表下的固定映射产生。论文进一步比较同一初始噪声在不同时刻数量下的结果:

原论文 Figure 5:固定每一列的初始噪声,改变DDIM采样步数后,图像高层结构往往相似而细节不同
相同初始噪声,不同采样步数;来源:原论文 Figure 5

同一列使用相同 \(x_T\),不同行使用不同步数。物体形态、房间布局与建筑轮廓往往保持相近,细节与清晰度则发生变化。跨步数的相似性是实验观察,结果并不严格相同;它也不是后来名为 Consistency Models 的模型方法。

由于随机性集中在初始变量,论文还在两份初始噪声之间做球面插值:沿二者的夹角逐渐改变方向,构造中间噪声,再分别使用 50 步 DDIM 生成图像。

原论文 Figure 6:在两份初始噪声之间插值后生成的人脸、卧室与教堂图像
初始噪声空间的插值;来源:原论文 Figure 6

从左到右的变化发生在生成起点,再经同一个模型转换为图像,因此能观察到较连续的语义变化。这不是把两张输出图的像素直接混合,也不要求先把已有照片编码到噪声空间。这里的“潜变量”指初始高斯噪声 \(x_T\),与后续 LDM 中用图像编码器得到的压缩表示含义不同。

7. 联系与局限

DDIM 将两件事分开处理:训练网络学习各个噪声程度下的预测任务,采样器决定怎样利用这些预测走向图像。 这种分离解释了为何同一网络可以使用不同步数、不同随机强度生成,也为后续更高效的采样方法提供了基础。

确定性更新还能联系到连续时间路径。令 \(u_t=x_t/\sqrt{\bar\alpha_t}\),用噪声与信号的比值标记时间:

\[ \rho_t=\sqrt{\frac{1-\bar\alpha_t}{\bar\alpha_t}}. \]

将 \(\eta=0\) 的跳步公式除以 \(\sqrt{\bar\alpha_s}\),并代入 \(\hat x_0\),可得:

\[ u_s=u_t+(\rho_s-\rho_t)\hat\epsilon_t. \]

它具有一阶数值积分的形式:在当前状态预测方向,乘以这次时间间隔,再更新状态。时刻足够密集时,可以联系到常微分方程的连续演化;减少步数则增大每次跨度。这提供了理解采样误差的另一个角度,但不需要先求解微分方程才能执行 DDIM。

论文也利用这一连续路径的联系研究图像到噪声再回到图像的重建。确定性只表示:给定生成起点和采样配置,输出结果固定,不自动意味着有限步算法可精确求逆。实际反向近似、网络预测误差和时间离散都会影响重建;生成时同样不能凭“边缘保持”证明完全无损。

DDIM 不解决所有生成成本:去噪网络仍然要反复运行,过少步数可能明显损害质量,时间表与实现细节也会影响结果。接下来学习 CFG 时,可以继续区分“怎样改变网络给出的预测方向”;学习 LDM 时,再看“在哪种图像表示上进行扩散”。它们与 DDIM 的采样规则处于不同层面,可以在具体系统中组合使用。

参考资料

  1. Jiaming Song, Chenlin Meng, Stefano Ermon. Denoising Diffusion Implicit Models. ICLR 2021. arXiv:2010.02502。本文依据 arXiv v4;路径构造见 §3.1,训练目标见 §3.2,生成与加速见 §4,实验见 §5,跳步公式见附录 C.1 与 D.3。本文图 3、5、6 及 CIFAR-10 数据来自该文。
  2. Ho, Jain, Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS 2020. arXiv:2006.11239。累计加噪、噪声预测训练与 DDPM 采样的来源。
  3. Ermon Group. DDIM 官方实现. GitHub。functions/denoising.py 中的 generalized_steps 对应原图估计、方向项与随机项的组合。