笔记

6.6 通过时间反向传播

发布于 2025-03-07

定义模型 简单起见，考虑一个无偏差项的循环神经网络，且激活函数为恒等映射（$\phi(x)=x$）。设时间步 $t$ 的输入为单样 …

6.5 循环神经网络的简洁实现

发布于 2025-03-07

导入库并加载数据集 定义模型 PyTorch中的nn模块提供了循环神经网络的实现。下面构造一个含单隐藏层、隐藏单元个数为256的循 …

6.3 语言模型数据集

发布于 2025-02-18

读取数据集 首先读取这个数据集 这个数据集有6万多个字符。把换行符替换成空格，然后仅使用前1万个字符来训练模型。 建立字符索引 将 …

6.2 循环神经网络

发布于 2025-02-18

不含隐藏状态的神经网络 考虑一个含单隐藏层的多层感知机。给定样本数为$n$、输入个数（特征数或特征向量维度）为$d$的小批量数据样 …

6.1 语言模型

发布于 2025-02-18

把一段自然语言文本看作一段离散的时间序列。假设一段长度为$T$的文本中的词依次为$w_1, w_2, \ldots, w_T$，那 …

5.2 填充和步幅

发布于 2025-02-17

假设输入形状是$n_h\times n_w$，卷积核窗口形状是$k_h\times k_w$，那么输出形状将会是 $$(n_h-k …

5.1 二维卷积层

发布于 2025-02-17

卷积神经网络（convolutional neural network）是含有卷积层（convolutional layer）的神 …

4.6 GPU计算

发布于 2025-02-17

计算设备 PyTorch可以指定用来存储和计算的设备，如使用内存的CPU或者使用显存的GPU。默认情况下，PyTorch会将数据创 …