論文の概要: Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation

• arxiv url: http://arxiv.org/abs/2206.02369v1
• Date: Mon, 6 Jun 2022 05:51:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-06-08 04:43:19.993301
• Title: Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation
• Title（参考訳）: ループを破る学習:ニューラルテキスト生成における繰り返しの分析と緩和
• Authors: Jin Xu, Xiaojiang Liu, Jianhao Yan, Deng Cai, Huayang Li, Jian Li
• Abstract要約: 本稿では,反復トークンの確率と,その文脈における過去の繰り返しとの関係について検討する。 擬似反復データから文レベルの繰り返しの確率をペナルティ化する訓練手法を提案する。
• 参考スコア（独自算出の注目度）: 41.3948101212288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large-scale neural language models, such as GPT2 and BART, have achieved impressive results on various text generation tasks, they tend to get stuck in undesirable sentence-level loops with maximization-based decoding algorithms (\textit{e.g.}, greedy search). This phenomenon is counter-intuitive since there are few consecutive sentence-level repetitions in human corpora (e.g., 0.02\% in Wikitext-103). To investigate the underlying reasons for generating consecutive sentence-level repetitions, we study the relationship between the probabilities of the repetitive tokens and their previous repetitions in the context. Through our quantitative experiments, we find that 1) Language models have a preference to repeat the previous sentence; 2) The sentence-level repetitions have a \textit{self-reinforcement effect}: the more times a sentence is repeated in the context, the higher the probability of continuing to generate that sentence; 3) The sentences with higher initial probabilities usually have a stronger self-reinforcement effect. Motivated by our findings, we propose a simple and effective training method \textbf{DITTO} (Pseu\underline{D}o-Repet\underline{IT}ion Penaliza\underline{T}i\underline{O}n), where the model learns to penalize probabilities of sentence-level repetitions from pseudo repetitive data. Although our method is motivated by mitigating repetitions, experiments show that DITTO not only mitigates the repetition issue without sacrificing perplexity, but also achieves better generation quality. Extensive experiments on open-ended text generation (Wikitext-103) and text summarization (CNN/DailyMail) demonstrate the generality and effectiveness of our method.
• Abstract（参考訳）: gpt2やbartといった大規模ニューラルネットワークモデルは、様々なテキスト生成タスクで印象的な結果を得ているが、最大化ベースのデコードアルゴリズム(例えば、greedy search)で、望ましくない文レベルのループに陥りがちである。 この現象は、人間のコーパスに連続した文レベルの反復がほとんどない(例えば、Wikitext-103では0.02\%)ため、直感に反する現象である。 連続した文レベルの繰り返しを生成するための基礎的理由を考察するため, 繰り返しトークンの確率と, 文脈における過去の繰り返しとの関係について検討した。 定量的な実験によって 1) 言語モデルは,前文を繰り返すことを優先する。 2) 文レベルの反復は,\textit{self-reinforcement effect} を有する: 文が文脈で繰り返される回数が多ければ多いほど,その文を生成し続ける確率が高くなる。 3) 初期確率の高い文は、通常、より強固な自己強化効果を有する。 そこで本研究では,文レベルの反復の確率を疑似反復データからペナルティ化することをモデルが学習する,単純かつ効果的な学習法である \textbf{ditto} (pseu\underline{d}o-repet\underline{it}ion penaliza\underline{t}i\underline{o}n)を提案する。 提案手法は繰り返しの緩和によって動機づけられるが, 実験により, DITTOは難易度を犠牲にすることなく反復問題を緩和するだけでなく, 生成品質の向上も図っている。 オープンエンドテキスト生成(Wikitext-103)とテキスト要約(CNN/DailyMail)に関する大規模な実験により,本手法の汎用性と有効性を示した。

関連論文リスト

• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Generating Repetitions with Appropriate Repeated Words [30.10429353715689]
  他人との信頼を構築するために、コミュニケーションには繰り返しが不可欠です。 私たちの知る限りでは、これは反復生成に対処する最初のニューラルアプローチです。 本稿では,微調整中にどの単語を繰り返すかを明確に学習するための平滑化手法であるWeighted Label Smoothingと,復号時により適切な繰り返しを出力できる繰り返しスコアリング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-03T01:21:49Z)
• Taming Repetition in Dialogue Generation [1.851321027703742]
  不適切な単語の繰り返しは、生成されたテキストの品質を著しく低下させる可能性がある。 我々は、繰り返しを許可するタイミングと、ペナル化サンプリングを用いるタイミングを明確に決定するために、文脈認識型分類器を設計する。 我々の手法はより高品質で真正な対話を生成できる。
  論文  参考訳（メタデータ） (2021-12-16T06:25:46Z)
• Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering [0.9134244356393667]
  本稿では,短い記事のコーパスにおける文順序付けのアルゴリズムを提案する。 提案手法では,アテンション機構を用いて文の依存関係をキャプチャするUniversal Transformer (UT) に基づく言語モデルを用いる。 提案モデルには文、言語モデル、Brute Force Searchによる文配列の3つのコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2021-08-24T23:03:36Z)
• A Theoretical Analysis of the Repetition Problem in Text Generation [55.8184629429347]
  我々は、繰り返しの問題が、残念ながら、我々の言語自体の特性によって引き起こされていることを示す。 一つの大きな理由は、その後の単語と同じ単語を高い確率で予測する単語が多すぎるという事実に起因する。 高インフロー問題を軽減するための新しい再バランス符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-12-29T08:51:47Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Fact-aware Sentence Split and Rephrase with Permutation Invariant Training [93.66323661321113]
  Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。 従来の研究では、パラレル文対からのSeq2seq学習によってこの問題に対処する傾向があった。 本稿では,この課題に対するSeq2seq学習における順序分散の効果を検証するために,置換訓練を導入する。
  論文  参考訳（メタデータ） (2020-01-16T07:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。