論文の概要: Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective

• arxiv url: http://arxiv.org/abs/2310.10226v1
• Date: Mon, 16 Oct 2023 09:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 15:17:54.980746
• Title: Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective
• Title（参考訳）: 繰り返しの繰り返し:データの観点からのニューラルテキストのデジェネレーション理解に向けて
• Authors: Huayang Li, Tian Lan, Zihao Fu, Deng Cai, Lemao Liu, Nigel Collier, Taro Watanabe, Yixuan Su
• Abstract要約: この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
• 参考スコア（独自算出の注目度）: 91.14291142262262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are a number of diverging hypotheses about the neural text degeneration problem, i.e., generating repetitive and dull loops, which makes this problem both interesting and confusing. In this work, we aim to advance our understanding by presenting a straightforward and fundamental explanation from the data perspective. Our preliminary investigation reveals a strong correlation between the degeneration issue and the presence of repetitions in training data. Subsequent experiments also demonstrate that by selectively dropping out the attention to repetitive words in training data, degeneration can be significantly minimized. Furthermore, our empirical analysis illustrates that prior works addressing the degeneration issue from various standpoints, such as the high-inflow words, the likelihood objective, and the self-reinforcement phenomenon, can be interpreted by one simple explanation. That is, penalizing the repetitions in training data is a common and fundamental factor for their effectiveness. Moreover, our experiments reveal that penalizing the repetitions in training data remains critical even when considering larger model sizes and instruction tuning.
• Abstract（参考訳）: ニューラルテキストの変性問題、すなわち反復ループと鈍いループの生成について多くの仮説が分かれているため、この問題は興味深く紛らわしいものになっている。 本研究では,データの観点からの素直かつ基本的な説明を提供することで,理解を深めることを目指している。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間に強い相関が認められた。 その後の実験では、訓練データにおける反復語への注意を選択的に取り除くことにより、変性を著しく最小化できることを示した。 さらに,本研究では, 高流入語, 可能性目標, 自己強化現象など, 様々な観点からの劣化問題に対処する先行研究を, 1つの簡単な説明で解釈できることを示す。 つまり、トレーニングデータの繰り返しを罰することは、その有効性に共通かつ基本的な要素である。 また,学習データの繰り返しをペナルティ化することは,モデルサイズや命令チューニングを大きくしても重要な問題であることを明らかにした。

関連論文リスト

• CIER: A Novel Experience Replay Approach with Causal Inference in Deep Reinforcement Learning [11.13226491866178]
  時系列を意味のあるサブシーケンスに分割する新しい手法を提案し,これらのサブシーケンスに基づいて時系列を表現する。 このサブシーケンスは、トレーニング結果に大きな影響を及ぼす基本的な因果的要因を特定するために因果推論に使用される。 いくつかの実験は、我々のアプローチが共通の環境で実現可能であることを実証し、DRLトレーニングの有効性を高め、トレーニングプロセスに一定のレベルの説明可能性を与える能力を確認した。
  論文  参考訳（メタデータ） (2024-05-14T07:23:10Z)
• Advancing continual lifelong learning in neural information retrieval: definition, dataset, framework, and empirical evaluation [3.2340528215722553]
  連続的なニューラル情報検索の系統的なタスク定式化を示す。 包括的連続神経情報検索フレームワークを提案する。 経験的評価は,提案フレームワークが神経情報検索における破滅的な忘れ込みを効果的に防止できることを示唆している。
  論文  参考訳（メタデータ） (2023-08-16T14:01:25Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Scaling Laws and Interpretability of Learning from Repeated Data [4.3242395495523525]
  データの大部分がユニークだが、そのごく一部が何度も繰り返されるモデル群をトレーニングします。 また,2重降下現象が出現し,連続したデータによってテスト損失が増加し,トレーニングの途中で増加することが示唆された。 予測可能な繰り返し周波数の範囲は、驚くほどパフォーマンスが低下する。
  論文  参考訳（メタデータ） (2022-05-21T02:14:27Z)
• Executive Function: A Contrastive Value Policy for Resampling and Relabeling Perceptions via Hindsight Summarization? [0.0]
  第一原理から数発の継続的学習タスクを開発し、経営機能に対する進化的モチベーションと行動のメカニズムを仮説化する。 本稿では,このモデルを用いて意識の流れとして仮説テストを実施し,人間の数発の学習と神経解剖学の観察を解説する。
  論文  参考訳（メタデータ） (2022-04-27T00:07:44Z)
• Extensive Studies of the Neutron Star Equation of State from the Deep Learning Inference with the Observational Data Augmentation [0.0]
  質量と半径の実際の観測データを用いて、状態の中性子星方程式(EoS)の深層学習推論について議論する。 観測に不確実性を組み込む深層学習法では,観測の不確実性に対応する雑音変動を伴うトレーニングデータを増強する。 このデータ拡張は,ニューラルネットワークアーキテクチャをチューニングすることなく,過剰フィッティングを回避するための有用な手法である可能性が示唆された。
  論文  参考訳（メタデータ） (2021-01-20T14:27:12Z)
• On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
  最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。 条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。 提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-10T07:00:57Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。