3.15 数值稳定性和模型初始化
发布于 2025-02-14
衰减和爆炸 当神经网络的层数较多时,模型的数值稳定性容易变差。不考虑偏差参数,且设所有隐藏层的激活函数为恒等映射(identity …
正向传播 正向传播是指对神经网络沿着从输入层到输出层的顺序,依次计算并存储模型的中间变量(包括输出)。为简单起见,假设输入是一个特 …
训练误差和泛化误差 训练误差(training error)指模型在训练数据集上表现出的误差,泛化误差(generalizatio …
导入需要的库 获取和读取数据 定义和初始化模型 softmax回归的输出层是一个全连接层,所以用一个线性模块就可以了。 初始化模型 …
导入本节实现所需的包或模块 获取和读取数据 先获取Fashion-MNIST数据集,并设置批量大小为256。 使用向量表示每个样本 …