RoBERTa: A Robustly Optimized BERT Pretraining Approach

1. Paper Information

时间：2019年

关键词：NLP, Word Embedding

论文位置：https://arxiv.org/pdf/1907.11692.pdf

引用：Liu Y, Ott M, Goyal N, et al. Roberta: A robustly optimized bert pretraining approach[J]. arXiv preprint arXiv:1907.11692, 2019.

2. Motivation

目前，预训练语言模型已经取得了很好的成果，但是很难去比较不同的预训练模型的效果。而且，训练预训练模型代价又很大，有些模型甚至采用了一些私有的不同大小的数据集，因此很难复现。所以，我们就很难去了解究竟是哪些因素使我们得到了这么好的效果。

3. Main Arguments

这篇论文就对BERT的预训练模型进行了研究，比较了在不同的超参数下和不同训练数据集大小的情况下的效果。通过比较，我们发现，BERT的训练远远没有达到完美，在经过调参后，我们得到了SOTA的水平。我们把这个模型称为RoBERTa。

对BERT的改进主要有以下几点：

用更大的batch、更多的数据对模型进行更长时间的训练
移除next sentence prediction任务
在更长的句子上进行训练
动态的改变，对训练数据的mask模式

该论文的主要贡献如下：

提出了一套BERT的超参选择和训练策略，使得BERT的性能提升
使用了一个新的数据集，CC-NEWS，证明了使用更多的数据集来进行预训练可以进一步提升下游任务的效果
进一步的确定了BERT的mask语言模型训练目标是非常有用的。

4. Framework

RoBERTa从Mask方式、模型输入、NSP Loss、batch size、text encoding等几个方式对传统的BERT训练方式进行了修改，具体修改内容和结果如下：

4.1 Static vs Dynamic Masking

原始的Bert采用的时静态Masking，即在处理数据时，随机的选取15%的词，进行Mask，这样的话，在每个epoch，我们就会遇到同样的训练样本。为了更有效的增加数据多样性，本文采取了动态Masking，即在将数据送入网络前进行Masking，这样每个epoch所遇到的训练样本都会不同，两个训练策略的效果如下：

可以看到，动态Masking还是起到了一定的效果。

4.2 Model Input Format And Next Sentence Prediction Loss

我们知道，BERT有两个任务，一个是Mask LM任务，一个是NSP任务，两个任务联合训练，输入要么是带有Mask的句子，要么就是句子对，来预训练得到BERT。在BERT之前的文章中也提到NSP是必要的，但是，今天再重新看一下。

为了做这个实验，作者重新定义了模型的输入，分为四种：

SEGMENT-PAIR+NSP，与原始BERT相同
SENTENCE-PAIR+NSP，使用句子代替原始BERT中的段落
FULL-SENTENCES，使用一个连续的长句子，可能会跨文章，如果跨文章的话，在分界处加[SEP]，但不使用NSP Loss来训练，只用了Mask LM目标函数
DOC-SENTENCES，与上面几乎相同，但是长句子不跨文章，一个输入中的句子只来源于一个文章。