本章将开启 推理 这一部分的内容。 7.1 引言 7.2 常见的推断模式 7.2.1 全局隐变量（Global latents） 7.2.2 局部隐变量（Local latents） 7.2.3 全局和局部隐变量 7.3 精确推理算法 7.4 近似推断算法 7.4.1 MAP近似 ...

本章将系统介绍关于优化的不同方向，主要包括。。。。 6.1 引言 6.2 自动微分 6.2.1 微分的函数式表达 6.2.2 Differentiating chains, circuits, and programs 6.2.2.1 链式组合与链式法则 6.2.2.2 从链到有向无...

本章，我们介绍信息论。KL散度衡量了两个分布之间的相似度，但从信息论的角度看，KL散度又被称为信息增益。为什么？本质上，KL散度衡量了从一个分布更新到另一个分布所需要的信息量。所以它属于两个分布互相变换过程中的信息增益。 5.1 KL散度 5.1.1 理想条件 5.1.2 KL散度唯一满足上述条件 5.1....

本章，我们介绍概率论。 2.1 简介 2.1.1 概率空间 2.1.2 离散随机变量 2.1.3 连续随机变量 2.1.4 概率公理 2.1.5 条件概率 2.1.6 贝叶斯定理 2.2 一些常用的概率分布 2.2.1 离散分布 ...

本文主要介绍Nvida发表的关于score-based的文章 Elucidating the Design Space of Diffusion-Based Generative Models，该文从采样方法，训练方法和数据预处理三个维度对score-based模型进行了优化。 1. 扩散过程的一般性表达 2. 确定性采样的改进 1.1 要点概述 ...

本文主要介绍Nvida发表的关于score-based的文章 Elucidating the Design Space of Diffusion-Based Generative Models，该文从采样方法，训练方法和数据预处理三个维度对score-based模型进行了优化。 1. 扩散过程的一般性表达 2. 确定性采样的改进 1.1 要点概述 ...

本文持续更新OpenAI的研究员SongYang（宋飏）论文解读。 生成模型（图像）相较于判别模型在理解上相对困难。尤其是在理论层面，从概率论角度对其相对系统的介绍。本文主要介绍OpenAI的研究员SongYang的与生成模型相关的文章，尽量做到“事无巨细”而又相对宏观，尽量以相对直白的语言对晦涩的理论进行介绍。我以为文中涉及到的数学部分大部分集中在高等数学部分，所以单纯地理解难度并不...

本章，我们介绍VAE 21.1 简介 21.2 VAE基础 21.2.1 模型假设 21.2.2 模型拟合 21.2.3 VAE和自编码器的对比 21.2.4* VAE 在一个增强空间中进行优化 21.3 VAE的推广 21.3.1 $\beta$-VAE ...

本章，我们将介绍扩散模型，漫长的调试 25.1 简介 25.2 降噪扩散概率模型（DDPMs） 25.2.1 编码器（前向扩散） 25.2.2 解码器（逆向生成） 25.2.3 模型拟合 25.2.4 学习噪声时间表 25.2.5 案例：图像生成 25.3 Score-based 生...

本章，我们将开始介绍处理图像类型的数据的神经网络——卷积神经网络(CNN)。 14.1 引言 14.2 基本原理 14.2.1 一维卷积 14.2.2 二维卷积 14.2.3 卷积的矩阵-向量乘形式 14.2.4 边界条件和步长 14.2.4.1 多输入与多输出通道 ...