論文の概要: Why Exposure Bias Matters: An Imitation Learning Perspective of Error Accumulation in Language Generation

• arxiv url: http://arxiv.org/abs/2204.01171v1
• Date: Sun, 3 Apr 2022 22:28:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 05:33:18.682494
• Title: Why Exposure Bias Matters: An Imitation Learning Perspective of Error Accumulation in Language Generation
• Title（参考訳）: 露出バイアスが重要な理由: 言語生成における誤り蓄積の模倣学習視点
• Authors: Kushal Arora, Layla El Asri, Hareesh Bahuleyan, Jackie Chi Kit Cheung
• Abstract要約: 現在の言語生成モデルは、反復、不整合、幻覚といった問題に悩まされている。 露光バイアスがエラーの蓄積につながることを示し、なぜパープレキシティがこの蓄積を捕捉できないのかを分析し、この蓄積が生成品質の低下をもたらすことを実証的に示す。
• 参考スコア（独自算出の注目度）: 20.183193366222163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current language generation models suffer from issues such as repetition, incoherence, and hallucinations. An often-repeated hypothesis is that this brittleness of generation models is caused by the training and the generation procedure mismatch, also referred to as exposure bias. In this paper, we verify this hypothesis by analyzing exposure bias from an imitation learning perspective. We show that exposure bias leads to an accumulation of errors, analyze why perplexity fails to capture this accumulation, and empirically show that this accumulation results in poor generation quality. Source code to reproduce these experiments is available at https://github.com/kushalarora/quantifying_exposure_bias
• Abstract（参考訳）: 現在の言語生成モデルは、反復、一貫性の欠如、幻覚といった問題に苦しむ。 しばしば繰り返される仮説は、生成モデルの脆さは、トレーニングと生成手順のミスマッチ(露出バイアスとも呼ばれる)によって引き起こされるというものである。 本稿では,模擬学習の観点から露出バイアスを解析し,この仮説を検証する。 露光バイアスがエラーの蓄積を招き、なぜ過度にこの蓄積を捉えられなかったのかを分析し、この蓄積が世代品質の低下をもたらすことを実証的に示す。 これらの実験を再現するソースコードはhttps://github.com/kushalarora/quantifying_exposure_biasで入手できる。

関連論文リスト

• Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models [113.58052868898173]
  我々は、モデルが予期しない方法でプロンプトから生成元に無関係な情報を漏らす現象を識別し、特徴付けする。 本研究では,人間と自動の両方でセマンティックリークを検出するための評価設定を提案し,その振る舞いを診断するための多様なテストスイートをキュレートし,13のフラッグシップモデルにおいて重要なセマンティックリークを測定する。
  論文  参考訳（メタデータ） (2024-08-12T22:30:55Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• Understanding Hallucinations in Diffusion Models through Mode Interpolation [89.10226585746848]
  拡散モデルにおける特定の障害モードについて検討し、これをモードモードと呼ぶ。 トレーニングセット内のデータモード間の拡散モデルを円滑に"補間"し,元のトレーニング分布の支持から完全に外れたサンプルを生成する。 幻覚が、かつて存在しなかった形の組み合わせをいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:43:41Z)
• Would Deep Generative Models Amplify Bias in Future Models? [29.918422914275226]
  今後のコンピュータビジョンモデルにおいて、深層生成モデルが潜在的な社会的バイアスに与える影響について検討する。 我々は,COCOおよびCC3Mデータセットの原画像に,安定拡散により生成された画像に代えてシミュレーションを行う。 予想とは対照的に、トレーニング中に生成された画像を導入することはバイアスを均一に増幅しないことを示す。
  論文  参考訳（メタデータ） (2024-04-04T06:58:39Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Uncertainty-Aware Unlikelihood Learning Improves Generative Aspect Sentiment Quad Prediction [52.05304897163256]
  トークンレベルの生成を制御するテンプレートに依存しない手法を提案する。 具体的には、事前訓練された言語モデルのビルトイン不確実性を理解するために、モンテカルロのドロップアウトを導入する。 さらに,不確実性を認識した誤りトークンを抑制するために,差分学習を提案する。
  論文  参考訳（メタデータ） (2023-06-01T07:49:06Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)
• Input Perturbation Reduces Exposure Bias in Diffusion Models [41.483581603727444]
  本稿では,長いサンプリングチェーンが,自己回帰テキスト生成における露出バイアス問題と同様の誤差蓄積現象を引き起こすことを示す。 本稿では,推定時間予測誤差をシミュレートするために,基底真理サンプルを摂動させることにより,非常に単純で効果的なトレーニング正則化を提案する。 実験により,リコールと精度に影響を与えることなく,提案した入力摂動がサンプル品質を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-01-27T13:34:54Z)
• Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement [20.41752850243945]
  統計機械学習手法の主要な前提は、テスト時に遭遇したデータの分布から独立したサンプルにアクセスすることである。 特に、機械学習モデルは、Clever-Hansのような振る舞いを示すことが示されている。 本稿では,人的フィードバックによって達成される内部表現を解消し,生成モデルをデバイアス化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-01T13:16:18Z)
• Relating Neural Text Degeneration to Exposure Bias [37.9520341259181]
  この研究は、ニューラルベーステキスト生成における2つの謎(露光バイアスとテキストの退化)を関連付けることに重点を置いている。 テキスト・デジェネレーションは、広く使われている事前学習型言語モデル GPT-2 が最近苦しめられている問題である。
  論文  参考訳（メタデータ） (2021-09-17T18:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。