論文の概要: Relating Neural Text Degeneration to Exposure Bias

• arxiv url: http://arxiv.org/abs/2109.08705v1
• Date: Fri, 17 Sep 2021 18:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-21 16:54:23.932707
• Title: Relating Neural Text Degeneration to Exposure Bias
• Title（参考訳）: ニューラルテキストの劣化と露光バイアスの関係
• Authors: Ting-Rui Chiang, Yun-Nung Chen
• Abstract要約: この研究は、ニューラルベーステキスト生成における2つの謎(露光バイアスとテキストの退化)を関連付けることに重点を置いている。 テキスト・デジェネレーションは、広く使われている事前学習型言語モデル GPT-2 が最近苦しめられている問題である。
• 参考スコア（独自算出の注目度）: 37.9520341259181
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work focuses on relating two mysteries in neural-based text generation: exposure bias, and text degeneration. Despite the long time since exposure bias was mentioned and the numerous studies for its remedy, to our knowledge, its impact on text generation has not yet been verified. Text degeneration is a problem that the widely-used pre-trained language model GPT-2 was recently found to suffer from (Holtzman et al., 2020). Motivated by the unknown causation of the text degeneration, in this paper we attempt to relate these two mysteries. Specifically, we first qualitatively quantitatively identify mistakes made before text degeneration occurs. Then we investigate the significance of the mistakes by inspecting the hidden states in GPT-2. Our results show that text degeneration is likely to be partly caused by exposure bias. We also study the self-reinforcing mechanism of text degeneration, explaining why the mistakes amplify. In sum, our study provides a more concrete foundation for further investigation on exposure bias and text degeneration problems.
• Abstract（参考訳）: この研究は、ニューラルネットワークによるテキスト生成における2つのミステリー(露出バイアスとテキスト変性)の関連に焦点を当てている。 露出バイアスが言及されてから長い時間が経ち、その治療に関する多くの研究が、我々の知識に対して、テキスト生成への影響はまだ検証されていない。 テキスト・デジェネレーションは、広く使われている事前訓練言語モデル GPT-2 が最近、Holtzman et al., 2020) に悩まされている問題である。 テキスト変性の未知の因果関係に動機づけられ,本稿ではこれら2つの謎を関連付ける。 具体的には,テキストの劣化が起こる前に犯した誤りを定量的に定量化する。 そして, GPT-2における隠れ状態の検査により, 誤りの意義について検討した。 以上の結果から,テキストの劣化は露出バイアスによるものである可能性が示唆された。 また,テキスト・デジェネレーションの自己強化機構について考察し,誤りが増幅する理由を説明する。 本研究は,露光バイアスとテキスト変性問題のさらなる調査のためのより具体的な基礎を提供する。

関連論文リスト

• Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
  幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。 この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。 我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
  論文  参考訳（メタデータ） (2024-08-20T02:19:35Z)
• Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer [42.081311699224585]
  本研究は,文脈知識に根ざした情報を生成するための知識増強ジェネレータについて紹介する。 我々の目的は、文脈的知識が変化した際のパラメトリック記憶から生じる幻覚の存在を探ることである。
  論文  参考訳（メタデータ） (2024-02-22T12:26:07Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• Guilt Detection in Text: A Step Towards Understanding Complex Emotions [58.720142291102135]
  ギルト検出と呼ばれる新しい自然言語処理タスクを導入する。 我々は、罪悪感を、これまでNLPで研究されていない複雑で致命的な感情とみなす。 罪状検出のための公開コーパスの欠如に対処するため,4622テキストを含むデータセットであるVICを開発した。
  論文  参考訳（メタデータ） (2023-03-06T21:36:19Z)
• Why Exposure Bias Matters: An Imitation Learning Perspective of Error Accumulation in Language Generation [20.183193366222163]
  現在の言語生成モデルは、反復、不整合、幻覚といった問題に悩まされている。 露光バイアスがエラーの蓄積につながることを示し、なぜパープレキシティがこの蓄積を捕捉できないのかを分析し、この蓄積が生成品質の低下をもたらすことを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-03T22:28:31Z)
• Survey of Hallucination in Natural Language Generation [69.9926849848132]
  近年,シーケンス間深層学習技術の発展により,自然言語生成(NLG)は指数関数的に向上している。 深層学習に基づく生成は意図しないテキストを幻覚させる傾向があるため、システム性能は低下する。 この調査は、NLGにおける幻覚テキストの課題に取り組む研究者の協力活動を促進するのに役立つ。
  論文  参考訳（メタデータ） (2022-02-08T03:55:01Z)
• A Causal Lens for Controllable Text Generation [36.26478600135344]
  本稿では、原理的因果的観点から制御可能なテキスト生成を定式化することを提案する。 因果関係の定式化の直接的な利点は、生成バイアスを緩和し、制御を改善するためにリッチ因果関係のツールを使用することである。 実験では、制御精度の向上とバイアス低減のために、従来の条件付きモデルよりも因果的アプローチが顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-22T19:31:43Z)
• Rare Words Degenerate All Words [16.97175223719216]
  本研究は, 単語埋め込みの劣化のメカニズムを, その勾配に関して解析する。 縮退問題に対処する新しい手法である適応勾配部分スケーリング(AGPS)を提案する。
  論文  参考訳（メタデータ） (2021-09-07T14:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。