Transformer¶

2017年发表的《Attention is All Your Need》大概是最近AI领域十年最重要的文章之一了。值得精读。

• 首先要读的当然是原文：Attention is All Your Need, NIPS 2017
• 最早引入注意力机制的文章也值得一看：Neural Machine Translation by Jointly Learning to Align and Translate, ICLR 2015
  • 又是Bengio，无处不在
• 如果你对seq2seq模型不熟悉，还可以去看看这篇博客：Sequence to Sequence (seq2seq) and Attention
  • 图文并茂，通俗易懂，神仙博客😭

简介¶

在此之前，最好的seq2seq模型是RNN或者CNN，它们通常都使用Encoder+Decoder的架构，SOTA的模型还会引入注意力机制。

既然注意力机制如此有效，作者干脆提出了一个完全基于注意力机制的模型，抛弃了RNN的架构设计了一种全新的Transformer架构。

背景¶

上图对比了本文的自注意力机制和传统的RNN以及CNN之间的差异。

RNN的问题¶

RNN模型很好，它是针对序列数据设计的，效果其实还不错。但它有一个致命的问题：太慢了！循环的设计就决定了它必须顺序计算每一个隐状态，这就快不了。

CNN的问题¶

也有一些工作使用CNN架构结合RNN的思路来减少顺序计算，更多地使用并行计算，以此提高计算效率（Extended Neural GPU [20], ByteNet [15] and ConvS2S [8]），不过CNN也存在一些问题，它是为了图像设计的，卷积核限制了视野。如果序列很长，通常需要很多层才能够完成全局信息的提取。

自注意力机制¶

自注意力机制（Self-Attention），有时也称为内部注意力机制（Intra-Attention），是一种注意力机制，用于关联同一序列中不同位置的元素，以便计算该序列的表示。自注意力机制已被成功应用于多种任务中，包括阅读理解、抽象式文本摘要、文本蕴含以及任务无关的句子表示学习等。

不过在此之前，注意力机制通常是RNN或者CNN的附加品。Transformer则完全基于自注意力机制构建。

模型¶

架构¶

Transformer模型的架构如下图所示：

Transformer是为了seq2seq任务设计的。以机器翻译任务为例，它输入源语言，输出目标语言。

具体而言，模型分为Encoder和Decoder，其中Encoder用于编码源语言，编码完成之后输送到Decoder中。Decoder则根据已经生成的序列预测下一个token。

训练方式¶

在训练的过程中，采用shifted right的方式逐个生成目标语言token：

例如：

• Encoder输入：我爱你
• 第1次Decoder输入:<START>, 输出: i
• 第2次Decoder输入:<START> i, 输出: love
• 第3次Decoder输入:<START> i love, 输出: you
• 第4次Decoder输入:<START> i love you, 输出: <END>

Transformer训练的时候还使用了Label Smoothing（学习目标为软标签）以及Residual Dropout（每一个残差链接都有一定的概率被置0）这两个正则化技术。

核心组件¶

多头自注意力机制¶

Transformer选取的注意力机制是乘性（scaled dot-product）注意力机制，基于矩阵乘法可以高效地并行计算。

换言之其实也有加性注意力机制，不过他们没选，因为乘性的计算效率高得多。

计算方式如下：

$$ \text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V $$

其中QKV分别代表query, key, value

你可以把它想象为一个查询任务，给定Q和K我们计算每一个q和每一个k之间的相似性，得到一个得分，然后使用这个得分对V进行加权。

x.shape = (seq_length, batch_size, d_embedding)

W_q.shape = W_k.shape = (d_k, d_embedding)
W_v.shape = (d_v, d_embedding)

Q.shape = K.shape = (seq_length, batch_size, d_k)
V.shape = (seq_length, batch_size, d_v)

W_i^q.shape = (d_model, d_k)
W_i^k.shape = (d_model, d_k)
W_i^v.shape = (d_model, d_v)
W^O.shape = (d_v*h, d_model)

残差连接+LayerNorm¶

残差连接是一个基础的组件，可以在网络比较深的情况下减弱梯度消失和梯度爆炸问题。

残差连接要求输入输出的向量形状完全一致，这一点从上一节多头自注意力机制的计算中可以看到，我们的向量始终保持纬度是(seq_length, batch_size, d_model)。

LayerNorm也是增加训练稳定性的技术，它区别于BatchNorm：

import torch
import torch.nn as nn

x = torch.randn(4, 3, 256, 256)
# --- BatchNorm2d ---
# 对每个通道计算整个 batch + 空间维度上的均值与方差
bn = nn.BatchNorm2d(num_features=3, affine=True)
y_bn = bn(x)
print("BN:", y_bn.mean(dim=[0, 2, 3]), y_bn.std(dim=[0, 2, 3]))

x = torch.randn(2, 3, 10)
# --- LayerNorm ---
# 对单个样本的所有特征维度计算均值与方差
ln = nn.LayerNorm(normalized_shape=10, elementwise_affine=True)
y_ln = ln(x)
print("LN:", y_ln.mean(dim=2), y_ln.std(dim=2))

在Transformer中，形状为(seq_length, batch_size, d_model)的tensor，LayerNorm只会作用在d_model这一维度，实现每个token单独的归一化。

FFN¶

为了引入非线性变换，增强特征转换能力，加入了FFN:

$$ \text{FFN}(x) = \max(0, xW_1+b_1)W_2+b_2 $$

具体来说，把形状为(seq_length, batch_size, d_model)的tensor变为(seq_length, batch_size, d_ff)再变回去。通常d_ff比d_model要大得多。这种“升维→非线性变换→降维”的结构，有助于捕捉复杂模式。

位置编码¶

注意力机制是排列不变的，对token之间的相互位置关系并不敏感。因此我们需要额外加入位置编码来显式加入token的位置信息。

Transformer使用的位置编码是正余弦，这是一种绝对的、固定的位置编码方式：

$$ PE_{(pos, 2i)} = \sin(pos / 10000^{2i/d_{\text{model}}})\\ PE_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d_{\text{model}}}) $$

不过正余弦函数的周期性巧妙蕴涵了相对位置，也允许模型来学习token之间的相对位置。

实验¶

性能以及开销¶

可以看到Transformer用更小的开销实现了更好的性能。

超参数探索¶

从这张表我们可以看到：

1. 头不是越多越好，太多头会导致性能下降。
2. 降低$d_k$会导致性能下降。
3. 模型越大性能越好（废话
4. 可学习的PE和正余弦PE差别不大。
5. Dropout非常有效，可以防止过拟合。