Fugu-MT 論文翻訳(概要): $k$-Neighbor Based Curriculum Sampling for Sequence Prediction

論文の概要: $k$-Neighbor Based Curriculum Sampling for Sequence Prediction

arxiv url: http://arxiv.org/abs/2101.09313v1
Date: Fri, 22 Jan 2021 20:07:29 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 20:00:01.930280
Title: $k$-Neighbor Based Curriculum Sampling for Sequence Prediction
Title（参考訳）: シーケンス予測のためのk$-neighborに基づくカリキュラムサンプリング
Authors: James O' Neill and Danushka Bollegala
Abstract要約: 言語モデルにおける多段階予測は、トレーニングとテスト時間プロセスの相違により困難である。教師方針を段階的に変更するカリキュラム学習に基づく手法であるtextitNearest-Neighbor Replacement Samplingを提案する。本研究では, 2つの言語モデリングベンチマークについて報告し, スケジュールされたサンプリングと併用することで, 性能をさらに向上させる方法を提案する。
参考スコア（独自算出の注目度）: 22.631763991832862
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multi-step ahead prediction in language models is challenging due to the discrepancy between training and test time processes. At test time, a sequence predictor is required to make predictions given past predictions as the input, instead of the past targets that are provided during training. This difference, known as exposure bias, can lead to the compounding of errors along a generated sequence at test time. To improve generalization in neural language models and address compounding errors, we propose \textit{Nearest-Neighbor Replacement Sampling} -- a curriculum learning-based method that gradually changes an initially deterministic teacher policy to a stochastic policy. A token at a given time-step is replaced with a sampled nearest neighbor of the past target with a truncated probability proportional to the cosine similarity between the original word and its top $k$ most similar words. This allows the learner to explore alternatives when the current policy provided by the teacher is sub-optimal or difficult to learn from. The proposed method is straightforward, online and requires little additional memory requirements. We report our findings on two language modelling benchmarks and find that the proposed method further improves performance when used in conjunction with scheduled sampling.
Abstract（参考訳）: 言語モデルにおける多段階の事前予測は、トレーニングとテスト時間プロセスの相違により困難である。テスト時には、トレーニング中に提供される過去のターゲットではなく、過去の予測を入力として予測するためにシーケンス予測器が必要とされる。この違いは、露光バイアスとして知られるが、テスト時に生成されたシーケンスに沿ってエラーが複合される可能性がある。ニューラルネットワークモデルの一般化と複合化エラーに対処するために,まずは決定論的教師方針を徐々に確率的方針に変更するカリキュラム学習に基づく手法である \textit{nearest-neighbor replacement sampling} を提案する。与えられた時間ステップのトークンは、元の単語と最上位の$k$の類似語との間のコサイン類似度に比例する断続確率を持つ過去のターゲットの最も近い近傍のサンプルに置き換えられる。これにより、教師が提供した現在の方針が最適でない場合や学習が難しい場合、学習者は代替案を探索することができる。提案手法は簡単で、オンラインであり、追加のメモリ要求はほとんど不要である。本稿では,2つの言語モデルベンチマークについて報告し,提案手法がスケジュールされたサンプリングと併用することで,さらなる性能向上が期待できることを示す。
全文参考訳へのリンク