論文の概要: Why Exposure Bias Matters: An Imitation Learning Perspective of Error
Accumulation in Language Generation
- arxiv url: http://arxiv.org/abs/2204.01171v1
- Date: Sun, 3 Apr 2022 22:28:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 05:33:18.682494
- Title: Why Exposure Bias Matters: An Imitation Learning Perspective of Error
Accumulation in Language Generation
- Title(参考訳): 露出バイアスが重要な理由: 言語生成における誤り蓄積の模倣学習視点
- Authors: Kushal Arora, Layla El Asri, Hareesh Bahuleyan, Jackie Chi Kit Cheung
- Abstract要約: 現在の言語生成モデルは、反復、不整合、幻覚といった問題に悩まされている。
露光バイアスがエラーの蓄積につながることを示し、なぜパープレキシティがこの蓄積を捕捉できないのかを分析し、この蓄積が生成品質の低下をもたらすことを実証的に示す。
- 参考スコア(独自算出の注目度): 20.183193366222163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current language generation models suffer from issues such as repetition,
incoherence, and hallucinations. An often-repeated hypothesis is that this
brittleness of generation models is caused by the training and the generation
procedure mismatch, also referred to as exposure bias. In this paper, we verify
this hypothesis by analyzing exposure bias from an imitation learning
perspective. We show that exposure bias leads to an accumulation of errors,
analyze why perplexity fails to capture this accumulation, and empirically show
that this accumulation results in poor generation quality. Source code to
reproduce these experiments is available at
https://github.com/kushalarora/quantifying_exposure_bias
- Abstract(参考訳): 現在の言語生成モデルは、反復、一貫性の欠如、幻覚といった問題に苦しむ。
しばしば繰り返される仮説は、生成モデルの脆さは、トレーニングと生成手順のミスマッチ(露出バイアスとも呼ばれる)によって引き起こされるというものである。
本稿では,模擬学習の観点から露出バイアスを解析し,この仮説を検証する。
露光バイアスがエラーの蓄積を招き、なぜ過度にこの蓄積を捉えられなかったのかを分析し、この蓄積が世代品質の低下をもたらすことを実証的に示す。
これらの実験を再現するソースコードはhttps://github.com/kushalarora/quantifying_exposure_biasで入手できる。
関連論文リスト
- It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep
Models [51.66015254740692]
深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。
我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
論文 参考訳(メタデータ) (2023-10-13T17:06:34Z) - Uncertainty-Aware Unlikelihood Learning Improves Generative Aspect
Sentiment Quad Prediction [52.05304897163256]
トークンレベルの生成を制御するテンプレートに依存しない手法を提案する。
具体的には、事前訓練された言語モデルのビルトイン不確実性を理解するために、モンテカルロのドロップアウトを導入する。
さらに,不確実性を認識した誤りトークンを抑制するために,差分学習を提案する。
論文 参考訳(メタデータ) (2023-06-01T07:49:06Z) - Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。
最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
論文 参考訳(メタデータ) (2023-05-31T17:58:02Z) - Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。
この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文 参考訳(メタデータ) (2023-04-25T07:42:06Z) - Input Perturbation Reduces Exposure Bias in Diffusion Models [41.483581603727444]
本稿では,長いサンプリングチェーンが,自己回帰テキスト生成における露出バイアス問題と同様の誤差蓄積現象を引き起こすことを示す。
本稿では,推定時間予測誤差をシミュレートするために,基底真理サンプルを摂動させることにより,非常に単純で効果的なトレーニング正則化を提案する。
実験により,リコールと精度に影響を与えることなく,提案した入力摂動がサンプル品質を著しく向上させることを示した。
論文 参考訳(メタデータ) (2023-01-27T13:34:54Z) - Bias-to-Text: Debiasing Unknown Visual Biases through Language
Interpretation [72.02386627482056]
本稿では,視覚モデルにおけるバイアスを識別・緩和するB2Tフレームワークを提案する。
視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。
様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-01-26T13:58:46Z) - Right for the Right Latent Factors: Debiasing Generative Models via
Disentanglement [20.41752850243945]
統計機械学習手法の主要な前提は、テスト時に遭遇したデータの分布から独立したサンプルにアクセスすることである。
特に、機械学習モデルは、Clever-Hansのような振る舞いを示すことが示されている。
本稿では,人的フィードバックによって達成される内部表現を解消し,生成モデルをデバイアス化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-01T13:16:18Z) - Relating Neural Text Degeneration to Exposure Bias [37.9520341259181]
この研究は、ニューラルベーステキスト生成における2つの謎(露光バイアスとテキストの退化)を関連付けることに重点を置いている。
テキスト・デジェネレーションは、広く使われている事前学習型言語モデル GPT-2 が最近苦しめられている問題である。
論文 参考訳(メタデータ) (2021-09-17T18:11:03Z) - Contrastive Learning Inverts the Data Generating Process [36.30995987986073]
一般に使用されるインフォアンスファミリーに属する目標で訓練されたフィードフォワードモデルは、観測データの基底となる生成モデルを暗黙的に反転させることを学習する。
本理論は, コントラスト学習, 生成モデル, 非線形独立成分分析の基本的な関係を明らかにする。
論文 参考訳(メタデータ) (2021-02-17T16:21:54Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。