al-folio Jekyll starter, with content stored as Markdown and deployment handled automatically by GitHub Actions. The plan is simple:
Older notes remain available in my Notion archive. New writing will live here.
]]>考虑一个 $C$ 类分类问题。对输入 $x$，模型输出各类别的概率
\[p_c=p_\theta(y=c\mid x), \qquad p_c\ge 0, \qquad \sum_{c=1}^{C}p_c=1.\]假设正确标签为 $j$。我们的目标是让输出正确标签的概率 $p_j$ 越大越好。于是想到可以最小化它的负对数损失，因为 $p_j$ 的负对数在 $p_j=0$ 时取正无穷，在 $p_j=1$ 时取 0：
\[\mathcal L(x,j) = -\log p_j\]这个标签的分布是一个很简单的分布，只在标签正确的时候是 1，其他都是 0。我们把标签写成 one-hot 分布：
\[q_c=\mathbb 1\{c=j\},\]改写一下原来的负对数损失：
\[\begin{aligned} \mathcal L(x,j) &=-\log p_j\\ &=-\sum_{c=1}^{C}\mathbb 1\{c=j\}\log p_c\\ &=-\sum_{c=1}^{C}q_c\log p_c\\ &=H(q,p_\theta). \end{aligned}\]这样就得到了我们熟悉的 cross-entropy loss 形式。
更一般地，$q(y\mid x)$ 可以是任意分布对固定输入 $x$，定义
\[H\!\left(q(\cdot\mid x),p_\theta(\cdot\mid x)\right) =-\sum_y q(y\mid x)\log p_\theta(y\mid x).\]再对输入分布取期望，得到总体目标
\[\begin{aligned} \mathcal L_{\mathrm{CE}}(\theta) &=\mathbb E_{x\sim q(x)} \left[H\!\left(q(\cdot\mid x),p_\theta(\cdot\mid x)\right)\right]\\ &=\mathbb E_{(x,y)\sim q} \left[-\log p_\theta(y\mid x)\right]. \end{aligned}\]这就是贯穿全文的目标：在目标数据分布下，最小化模型赋给实际标签的 negative log-probability。CE、KL 和 NLL 的联系都可以从这个式子得到。
对固定的 $x$，考虑带概率归一化约束的优化问题：
\[\min_{p_1,\ldots,p_C} -\sum_{c=1}^{C}q_c\log p_c, \qquad \text{s.t.}\quad \sum_{c=1}^{C}p_c=1.\]暂设所有 $q_c>0$。引入 Lagrange multiplier $\lambda$：
\[\mathcal J(p,\lambda) =-\sum_{c=1}^{C}q_c\log p_c +\lambda\left(\sum_{c=1}^{C}p_c-1\right).\]驻点满足
\[\frac{\partial\mathcal J}{\partial p_c} =-\frac{q_c}{p_c}+\lambda=0,\]因此 $p_c=q_c/\lambda$。结合 $\sum_c p_c=\sum_c q_c=1$，可得 $\lambda=1$，从而
\[p_c=q_c.\]当某些 $q_c=0$ 时，可以通过边界条件或连续性得到相同结论。这个推导说明：cross-entropy 的最优预测正是目标分布本身；它不只适用于 one-hot 标签。
先来看经典的 KL divergence 定义
\[D_{\mathrm{KL}}(q\|p_\theta) =\sum_y q(y\mid x) \log\frac{q(y\mid x)}{p_\theta(y\mid x)}.\]展开 log 后，并用信息熵改写一下，则有
\[\begin{aligned} D_{\mathrm{KL}}(q\|p_\theta) &=\sum_y q(y\mid x)\log q(y\mid x) -\sum_y q(y\mid x)\log p_\theta(y\mid x)\\ &=-H(q)+H(q,p_\theta). \end{aligned}\]细心的读者已经注意到了，式中的第二项就是我们的交叉熵，将其移项到等式左边，有
\[H(q,p_\theta) =H(q)+D_{\mathrm{KL}}(q\|p_\theta).\]这里目标分布 $q$ 是固定的，所以 $H(q)$ 对 $\theta$ 求导后是常数。因此
\[\arg\min_\theta H(q,p_\theta) =\arg\min_\theta D_{\mathrm{KL}}(q\|p_\theta).\]所以说，最小化 CE loss 和最小化 KL 散度是同一个优化目标。
现实中我们不知道总体分布 $q(x,y)$，只有数据集
\[\mathcal D=\{(x_i,y_i)\}_{i=1}^{n}.\]我们用数据集的经验分布近似总体分布，并把每个观测标签视为 one-hot target，得到 empirical cross-entropy：
\[\widehat{\mathcal L}_{\mathrm{CE}}(\theta) =-\frac{1}{n}\sum_{i=1}^{n} \log p_\theta(y_i\mid x_i).\]另一方面，在给定各自输入后标签条件独立的假设下，conditional likelihood 是所有样本条件概率的乘积
\[p_\theta(y_{1:n}\mid x_{1:n}) =\prod_{i=1}^{n}p_\theta(y_i\mid x_i).\]把它改写成 negative log-likelihood，首先套对数符号不改变单调性，然后再加负数变成 loss 的形式
\[\mathcal L_{\mathrm{NLL}}(\theta) =-\log p_\theta(y_{1:n}\mid x_{1:n}) =-\sum_{i=1}^{n}\log p_\theta(y_i\mid x_i).\]不难看出
\[\widehat{\mathcal L}_{\mathrm{CE}}(\theta) =\frac{1}{n}\mathcal L_{\mathrm{NLL}}(\theta).\]不少实现把 CE 取 batch mean，把 NLL 写成全数据 sum，所以二者数值一般不想等；但依然是相同的优化目标。
maximum likelihood estimation 定义为
\[\hat\theta_{\mathrm{MLE}} =\arg\max_\theta p_\theta(y_{1:n}\mid x_{1:n}) =\arg\max_\theta \sum_{i=1}^{n}\log p_\theta(y_i\mid x_i).\]乘以 $-1$ 后，最大化变成最小化：
\[\hat\theta_{\mathrm{MLE}} =\arg\min_\theta \mathcal L_{\mathrm{NLL}}(\theta) =\arg\min_\theta \widehat{\mathcal L}_{\mathrm{CE}}(\theta).\]因此在有限数据集上，有
\[\boxed{ \text{MLE} \Longleftrightarrow \min \text{NLL} \Longleftrightarrow \min \text{empirical CE} }\]而在固定总体分布 $q$ 的意义下，有另一组等价关系：
\[\boxed{ \min \text{expected CE} \Longleftrightarrow \min D_{\mathrm{KL}}(q\|p_\theta) }\]empirical CE 是 expected CE 的有限样本估计。这一步连接的是经验目标与总体目标，而不是两个有限样本量之间的恒等式。
考虑 softmax 分类器。若模型输出 logits $z_1,\ldots,z_C$，softmax 概率为
\[p_c=\frac{e^{z_c}}{\sum_{k=1}^{C}e^{z_k}}.\]对正确类别 $j$，one-hot cross-entropy 可以改写为
\[\begin{aligned} \mathcal L_{\mathrm{CE}} &=-\log p_j\\ &=-z_j+\log\sum_{k=1}^{C}e^{z_k}. \end{aligned}\]在实现中，如果直接计算 $e^{z_k}$ 数值特别大，可能 overflow。利用 softmax 对所有 logits 同加减一个常数保持不变，令 $m=\max_k z_k$，可得稳定形式
\[\mathcal L_{\mathrm{CE}} =-z_j+m+\log\sum_{k=1}^{C}e^{z_k-m}.\]这也是实践中应直接使用 cross_entropy 或 log_softmax，而不是先算 softmax、再手动取 logarithm 的原因。
| 视角 | 对象 | 与统一目标的关系 |
|---|---|---|
| 分布匹配 | $D_{\mathrm{KL}}(q|p_\theta)$ | 与 CE 相差固定的 $H(q)$ |
| 损失函数 | $H(q,p_\theta)$ | 目标分布下的 expected negative log-probability |
| 有限数据 | NLL | one-hot empirical CE 的总和形式 |
| 参数估计 | MLE | 与最小化 NLL 完全等价 |
Migrated from the original Notion post.
]]>在 VAE 中，我们希望最大化模型对观测 $x$ 的 marginal likelihood：
\[p_\theta(x)=\int p_\theta(x,z)\,dz.\]隐变量 $z$ 往往是连续且高维的，上述积分难以直接计算。如果能找到 $\log p_\theta(x)$ 的一个可计算下界，就可以通过最大化这个下界来近似最大化 marginal likelihood。这个下界就是 ELBO。
引入一个可以采样的 variational posterior $q_\phi(z\mid x)$，在分子分母同时乘以它：
\[\begin{aligned} p_\theta(x) &=\int p_\theta(x,z)\,dz\\ &=\int p_\theta(x,z)\frac{q_\phi(z\mid x)}{q_\phi(z\mid x)}\,dz\\ &=\mathbb{E}_{z\sim q_\phi(z\mid x)} \left[\frac{p_\theta(x,z)}{q_\phi(z\mid x)}\right]. \end{aligned}\]对两边取对数，并利用 $\log$ 是凹函数以及 Jensen’s inequality：
\[\begin{aligned} \log p_\theta(x) &=\log\mathbb{E}_{z\sim q_\phi(z\mid x)} \left[\frac{p_\theta(x,z)}{q_\phi(z\mid x)}\right]\\ &\geq\mathbb{E}_{z\sim q_\phi(z\mid x)} \left[\log\frac{p_\theta(x,z)}{q_\phi(z\mid x)}\right]\\ &=: \mathcal{L}_{\mathrm{ELBO}}(x). \end{aligned}\]Joint-distribution 期望形式
\[\mathcal{L}_{\mathrm{ELBO}}(x) =\mathbb{E}_{z\sim q_\phi(z\mid x)} \left[\log\frac{p_\theta(x,z)}{q_\phi(z\mid x)}\right].\]Reconstruction term + KL divergence
利用 $p_\theta(x,z)=p_\theta(x\mid z)p(z)$ 展开：
\[\begin{aligned} \mathcal{L}_{\mathrm{ELBO}}(x) &=\mathbb{E}_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)] -D_{\mathrm{KL}}\big(q_\phi(z\mid x)\|p(z)\big). \end{aligned}\]最大化 ELBO 同时意味着：
最大化 reconstruction term
\[\mathbb{E}_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)],\]让 decoder 能够重构观测 $x$。
最小化 KL divergence
\[D_{\mathrm{KL}}\big(q_\phi(z\mid x)\|p(z)\big),\]让 encoder 产生的隐变量分布接近 prior。
Migrated from the original Notion post.
]]>设真实数据分布是 $p_{\mathrm{data}}(x)$，模型分布是 $p_\theta(x)$。我们从 $p_{\mathrm{data}}$ 独立采样：
\[\{x_1,x_2,\ldots,x_n\}\overset{\mathrm{i.i.d.}}{\sim}p_{\mathrm{data}}(x).\]目标是找到让这组样本在模型下出现概率最大的参数 $\theta$。由于样本相互独立，联合 likelihood 是：
\[P_\theta(x_1,x_2,\ldots,x_n) =\prod_{i=1}^{n}p_\theta(x_i).\]因此 MLE 为：
\[\hat\theta_{\mathrm{MLE}} =\arg\max_\theta\prod_{i=1}^{n}p_\theta(x_i).\]对数函数单调递增，所以取对数不改变 $\arg\max$ 的结果，同时将乘积变成求和：
\[\hat\theta_{\mathrm{MLE}} =\arg\max_\theta\sum_{i=1}^{n}\log p_\theta(x_i).\]这就是 finite-sample 形式的 MLE。
将 log-likelihood 除以样本数 $n$ 不会改变最大化的参数：
\[\hat\theta_{\mathrm{MLE}} =\arg\max_\theta\frac{1}{n}\sum_{i=1}^{n}\log p_\theta(x_i).\]根据大数定律，当 $n\to\infty$ 时，empirical average 收敛到真实数据分布下的期望：
\[\frac{1}{n}\sum_{i=1}^{n}\log p_\theta(x_i) \xrightarrow[n\to\infty]{} \mathbb{E}_{x\sim p_{\mathrm{data}}} [\log p_\theta(x)].\]于是 population objective 可以写成：
\[\theta^* =\arg\max_\theta \mathbb{E}_{x\sim p_{\mathrm{data}}} [\log p_\theta(x)].\]这说明 expectation 形式不是一个新的目标，而是 finite-sample average 在样本数足够大时的 population limit。
Migrated from the original Notion post.
]]>它们都需要五个步骤，看起来复杂度相当；但在相同的人手和设备下，鸡蛋灌饼通常能卖得更多。区别不在步骤数量，而在这些步骤能否并行，以及它们是否争抢同一个稀缺资源。
烤炉鸡蛋灌饼的流程是：
两个人分工时，A 只负责不断擀面皮，B 负责其余步骤。
锅包肉的流程同样可以拆成五步：
在这个小摊里，A 负责调面糊和装盒，B 负责两遍炸制和炒糖醋汁。
如果只数步骤，两者都是五步；如果画出资源依赖，差别就出现了。
锅包肉的问题是：在只有一个灶台的情况下，第一遍炸、第二遍炸和炒汁都要占用同一个灶台，也都需要 B 操作。即使 B 手速再快，这三段关键流程仍然只能串行执行：上一道菜没有释放灶台，下一道菜就无法进入相同阶段。
鸡蛋灌饼则不同。油锅和烤炉是两个独立的工作站。一个饼在烤炉里烘烤时，另一个饼可以在油锅里煎；设备自行加热的间隙，B 还可以处理下一张饼。只要油锅和烤炉的容量足够，且上锅、翻面和转移等短操作可以并入相邻时间片，多个订单就可以处在不同阶段。
因此，鸡蛋灌饼天然形成了一条流水线：
| 订单 / 时间 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 订单 1 | 灌蛋 | 油锅 | 烤炉 | 出餐 | ||||||||||
| 订单 2 | 灌蛋 | 油锅 | 烤炉 | 出餐 | ||||||||||
| 订单 3 | 灌蛋 | 油锅 | 烤炉 | 出餐 | ||||||||||
每个有色块代表一个 processing stage，空白表示订单尚未进入或已经离开流水线。可以看到，三个订单都要经历 1 个时间片的灌蛋、4 个时间片的油锅、4 个时间片的烤炉和 1 个时间片的出餐，总 latency 仍然是 10 个时间片；但后一行相对前一行只向右移动 2 列，因此相邻订单可以每隔 2 个时间片进入流水线。
这是流水线最容易被说错的地方。
在上面的简化模型中，单个鸡蛋灌饼的 latency 仍然是 10 个时间片。流水线没有让某一张饼瞬间成熟，而是让不同订单的等待时间互相重叠，因此稳态下每 2 个时间片就能出一个饼。
如果从空流水线开始，完成 $N$ 个订单所需的时间是
\[T_{\text{pipeline}}(N)=10+2(N-1)=2N+8.\]若完全串行执行，则需要
\[T_{\text{serial}}(N)=10N.\]因此加速比为
\[S(N)=\frac{10N}{2N+8}.\]当订单很多时，$S(N)$ 逐渐接近 5。这才是“效率提升 5 倍”的准确含义：它是稳态 throughput 的极限提升，而不是第一批订单从冷启动时立刻获得的提升。
例如，一个时间片是 20 秒：
相比之下，完全串行做 9 个饼需要 30 分钟。第一批 9 个订单的实际加速约为 $90/26\approx 3.46$ 倍；订单越多，平均效率越接近 5 倍。
这个例子不是说锅包肉天生不能流水化。如果增加灶台、炸锅或操作人员，它同样可以获得并行度。问题在于，当资源固定为“两个人、一个灶台”时，它的关键步骤集中争抢同一个 bottleneck；鸡蛋灌饼则把工作分散到了油锅、烤炉和人工操作三个工作站。
因此，比较两门生意时，不能只问“各有多少步骤”，还要问：
步骤数量决定不了产能。真正决定单位时间出餐量的，是依赖关系、资源冲突和最慢的流水线阶段。
所以，在这个限定条件下，你应该卖烤炉鸡蛋灌饼，而不是锅包肉。
]]>