論文の概要: On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2005.03642v1
• Date: Thu, 7 May 2020 17:46:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 23:26:04.403615
• Title: On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における露出バイアス, 幻覚, ドメインシフトについて
• Authors: Chaojun Wang and Rico Sennrich
• Abstract要約: 我々は,被曝バイアスが幻覚の原因の一部であり,最小リスクトレーニングによるトレーニングがこれを緩和できることを示した。 この結果から, 露光バイアスを低減させる手法の新しい正当化法が得られた。
• 参考スコア（独自算出の注目度）: 43.60901341236996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard training algorithm in neural machine translation (NMT) suffers from exposure bias, and alternative algorithms have been proposed to mitigate this. However, the practical impact of exposure bias is under debate. In this paper, we link exposure bias to another well-known problem in NMT, namely the tendency to generate hallucinations under domain shift. In experiments on three datasets with multiple test domains, we show that exposure bias is partially to blame for hallucinations, and that training with Minimum Risk Training, which avoids exposure bias, can mitigate this. Our analysis explains why exposure bias is more problematic under domain shift, and also links exposure bias to the beam search problem, i.e. performance deterioration with increasing beam size. Our results provide a new justification for methods that reduce exposure bias: even if they do not increase performance on in-domain test sets, they can increase model robustness to domain shift.
• Abstract（参考訳）: ニューラルネットワーク翻訳(NMT)の標準的なトレーニングアルゴリズムは露光バイアスに悩まされており、これを緩和するために代替アルゴリズムが提案されている。 しかし、露出バイアスの実際的な影響は議論中である。 本稿では,nmtにおける他の既知の問題,すなわち領域シフト下で幻覚を発生させる傾向と露出バイアスを関連付ける。 複数のテスト領域を持つ3つのデータセットの実験では、露光バイアスが幻覚の原因の一部であり、露光バイアスを回避する最小限のリスクトレーニングによるトレーニングがこれを緩和できることが示されている。 本解析では,領域シフト下で露光バイアスがより問題となる理由を説明し,露光バイアスとビームサーチ問題,すなわちビームサイズの増加による性能劣化を関連付ける。 ドメイン内テストセットのパフォーマンスが向上しなかったとしても、ドメインシフトに対するモデルのロバスト性が向上します。

関連論文リスト

• Exploiting Positional Bias for Query-Agnostic Generative Content in Search [24.600506147325717]
  検索結果における非関連テキストの位置に悪影響を及ぼすことなく、文書に非関連テキストを注入できることを示す。 非関連テキストの文脈化は、既存のコンテンツフィルタリング機構を回避しつつ、ネガティブな効果をさらに減少させる。
  論文  参考訳（メタデータ） (2024-05-01T12:12:59Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Characterizing and addressing the issue of oversmoothing in neural autoregressive sequence modeling [49.06391831200667]
  提案手法がモデル分布と復号化性能に与える影響について検討する。 神経自己回帰モデルにおいて,過度に持続可能な短い配列が生じる主な原因は,高次スムージングが原因であると結論付けている。
  論文  参考訳（メタデータ） (2021-12-16T14:33:12Z)
• Reducing Exposure Bias in Training Recurrent Neural Network Transducers [37.53697357406185]
  自動音声認識のためのRNNTモデルの一般化のための訓練における露出バイアス低減手法について検討する。 我々は,高性能RNNT ASRモデルの精度をさらに向上し,300時間Switchboardデータセットの最先端結果を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-24T15:43:42Z)
• Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation [8.238238958749134]
  プルーニングニューラルネットワークの評価と緩和に関する現在の文献には明確なギャップがある。 本稿では,CEV(Combined Error Variance)とSDE(Symmetric Distance Error)の2つの簡易かつ効果的な指標を提案する。 第二に、知識蒸留は、不均衡なデータセットであっても、刈り取られたニューラルネットワークにおける誘導バイアスを軽減することができることを実証する。 第3に、モデル類似性はプルーニング誘起バイアスと強い相関関係があることを明らかにし、なぜプルーニングニューラルネットワークでバイアスが発生するのかを説明する強力な方法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T02:59:32Z)
• Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition [39.108491135488286]
  テストのリスクをバイアスと分散コンポーネントに分解します。 バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。 一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
  論文  参考訳（メタデータ） (2021-03-17T23:30:00Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning [30.833538367971872]
  微調整された言語モデルは、一連のモデリングタスクにおいて保護されたグループに対するバイアスを示すことが示されている。 これまでの研究は、これらのバイアスの検出、データの表現におけるバイアスの低減、微調整時のバイアスを軽減するための補助的なトレーニング目的の使用に重点を置いていた。 下流タスクにおけるバイアスを軽減するために、上流バイアス軽減(UBM)の実現可能性とメリットについて検討する。
  論文  参考訳（メタデータ） (2020-10-24T10:36:11Z)
• Mitigating Gender Bias Amplification in Distribution by Posterior Regularization [75.3529537096899]
  本稿では,男女差の増幅問題について,分布の観点から検討する。 後続正則化に基づくバイアス緩和手法を提案する。 私たちの研究はバイアス増幅の理解に光を当てている。
  論文  参考訳（メタデータ） (2020-05-13T11:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。