本章，我们介绍信息论。KL散度衡量了两个分布之间的相似度，但从信息论的角度看，KL散度又被称为信息增益。为什么？本质上，KL散度衡量了从一个分布更新到另一个分布所需要的信息量。所以它属于两个分布互相变换过程中的信息增益。 5.1 KL散度 5.1.1 理想条件 5.1.2 KL散度唯一满足上述条件 5.1....

本章，我们介绍概率论。 2.1 简介 2.1.1 概率空间 2.1.2 离散随机变量 2.1.3 连续随机变量 2.1.4 概率公理 2.1.5 条件概率 2.1.6 贝叶斯定理 2.2 一些常用的概率分布 2.2.1 离散分布 ...

本文主要介绍Nvida发表的关于score-based的文章 Elucidating the Design Space of Diffusion-Based Generative Models，该文从采样方法，训练方法和数据预处理三个维度对score-based模型进行了优化。 1. 扩散过程的一般性表达 2. 确定性采样的改进 1.1 要点概述 ...

本文主要介绍Nvida发表的关于score-based的文章 Elucidating the Design Space of Diffusion-Based Generative Models，该文从采样方法，训练方法和数据预处理三个维度对score-based模型进行了优化。 1. 扩散过程的一般性表达 2. 确定性采样的改进 1.1 要点概述 ...

本文持续更新OpenAI的研究员SongYang（宋飏）论文解读。 生成模型（图像）相较于判别模型在理解上相对困难。尤其是在理论层面，从概率论角度对其相对系统的介绍。本文主要介绍OpenAI的研究员SongYang的与生成模型相关的文章，尽量做到“事无巨细”而又相对宏观，尽量以相对直白的语言对晦涩的理论进行介绍。我以为文中涉及到的数学部分大部分集中在高等数学部分，所以单纯地理解难度并不...

本章，我们介绍VAE 21.1 简介 21.2 VAE基础 21.2.1 模型假设 21.2.2 模型拟合 21.2.3 VAE和自编码器的对比 21.2.4* VAE 在一个增强空间中进行优化 21.3 VAE的推广 21.3.1 $\beta$-VAE ...

本章，我们将介绍扩散模型，漫长的调试 25.1 简介 25.2 降噪扩散概率模型（DDPMs） 25.2.1 编码器（前向扩散） 25.2.2 解码器（逆向生成） 25.2.3 模型拟合 25.2.4 学习噪声时间表 25.2.5 案例：图像生成 25.3 Score-based 生...

本章，我们将开始介绍处理图像类型的数据的神经网络——卷积神经网络(CNN)。 14.1 引言 14.2 基本原理 14.2.1 一维卷积 14.2.2 二维卷积 14.2.3 卷积的矩阵-向量乘形式 14.2.4 边界条件和步长 14.2.4.1 多输入与多输出通道 ...

本章，我们介绍了深度神经网络（$\textrm{DNN}$），深度神经网络的优势在于：通过构建复杂的特征提取器，缓解了手动设计特征的负担，提高了模型的拟合能力。 我们首先介绍了多层感知机模型，它有效解决了传统（单层）感知机模型在解决某些模式识别问题上的不足。 13.1 引言 13.2 多层感知机 13.2.1 抑或问题 ...