論文の概要: On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2005.03642v1
• Date: Thu, 7 May 2020 17:46:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 23:26:04.403615
• Title: On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における露出バイアス, 幻覚, ドメインシフトについて
• Authors: Chaojun Wang and Rico Sennrich
• Abstract要約: 我々は,被曝バイアスが幻覚の原因の一部であり,最小リスクトレーニングによるトレーニングがこれを緩和できることを示した。 この結果から, 露光バイアスを低減させる手法の新しい正当化法が得られた。
• 参考スコア（独自算出の注目度）: 43.60901341236996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard training algorithm in neural machine translation (NMT) suffers from exposure bias, and alternative algorithms have been proposed to mitigate this. However, the practical impact of exposure bias is under debate. In this paper, we link exposure bias to another well-known problem in NMT, namely the tendency to generate hallucinations under domain shift. In experiments on three datasets with multiple test domains, we show that exposure bias is partially to blame for hallucinations, and that training with Minimum Risk Training, which avoids exposure bias, can mitigate this. Our analysis explains why exposure bias is more problematic under domain shift, and also links exposure bias to the beam search problem, i.e. performance deterioration with increasing beam size. Our results provide a new justification for methods that reduce exposure bias: even if they do not increase performance on in-domain test sets, they can increase model robustness to domain shift.
• Abstract（参考訳）: ニューラルネットワーク翻訳(NMT)の標準的なトレーニングアルゴリズムは露光バイアスに悩まされており、これを緩和するために代替アルゴリズムが提案されている。 しかし、露出バイアスの実際的な影響は議論中である。 本稿では,nmtにおける他の既知の問題,すなわち領域シフト下で幻覚を発生させる傾向と露出バイアスを関連付ける。 複数のテスト領域を持つ3つのデータセットの実験では、露光バイアスが幻覚の原因の一部であり、露光バイアスを回避する最小限のリスクトレーニングによるトレーニングがこれを緩和できることが示されている。 本解析では,領域シフト下で露光バイアスがより問題となる理由を説明し,露光バイアスとビームサーチ問題,すなわちビームサイズの増加による性能劣化を関連付ける。 ドメイン内テストセットのパフォーマンスが向上しなかったとしても、ドメインシフトに対するモデルのロバスト性が向上します。

関連論文リスト

• Exploring the Camera Bias of Person Re-identification [18.605398174512295]
  我々は、ReIDモデルのカメラバイアスを未確認領域で測定し、データ分散シフトによってカメラバイアスがより顕著になることを示す。 未確認領域データのデバイアス化手法として,埋め込みベクトル上の特徴正規化を再考する。 本手法はバイアス低減に有効であり,低レベル画像特性や体角などの詳細なバイアス要因に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-14T14:39:24Z)
• ALBAR: Adversarial Learning approach to mitigate Biases in Action Recognition [52.537021302246664]
  行動認識モデルは、しばしば背景バイアス(背景の手がかりに基づく行動の推測)と前景バイアス(主題の外観に依存する)に悩まされる。 本稿では,前景や背景のバイアスを,バイアス特性の専門知識を必要とせずに軽減する,新たな対人訓練手法であるALBARを提案する。 我々は,提案手法を確立された背景および前景バイアスプロトコル上で評価し,新しい最先端技術を設定し,HMDB51上で12%以上のデバイアス性能を向上した。
  論文  参考訳（メタデータ） (2025-01-31T20:47:06Z)
• Sebra: Debiasing Through Self-Guided Bias Ranking [54.09529903433859]
  微粒なスプリシティ推定による試料のランク付けは,近年,バイアス緩和に大きく寄与することが示されている。 新たなulSelf-Guided ulBias ulRanking(emphSebra)に基づく脱バイアスフレームワークを提案する。 Sebraは、各クラス内のスプリシティによって、データポイントの自動ランキングを通じてバイアスを緩和する。
  論文  参考訳（メタデータ） (2025-01-30T11:31:38Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Characterizing and addressing the issue of oversmoothing in neural autoregressive sequence modeling [49.06391831200667]
  提案手法がモデル分布と復号化性能に与える影響について検討する。 神経自己回帰モデルにおいて,過度に持続可能な短い配列が生じる主な原因は,高次スムージングが原因であると結論付けている。
  論文  参考訳（メタデータ） (2021-12-16T14:33:12Z)
• Reducing Exposure Bias in Training Recurrent Neural Network Transducers [37.53697357406185]
  自動音声認識のためのRNNTモデルの一般化のための訓練における露出バイアス低減手法について検討する。 我々は,高性能RNNT ASRモデルの精度をさらに向上し,300時間Switchboardデータセットの最先端結果を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-24T15:43:42Z)
• Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation [8.238238958749134]
  プルーニングニューラルネットワークの評価と緩和に関する現在の文献には明確なギャップがある。 本稿では,CEV(Combined Error Variance)とSDE(Symmetric Distance Error)の2つの簡易かつ効果的な指標を提案する。 第二に、知識蒸留は、不均衡なデータセットであっても、刈り取られたニューラルネットワークにおける誘導バイアスを軽減することができることを実証する。 第3に、モデル類似性はプルーニング誘起バイアスと強い相関関係があることを明らかにし、なぜプルーニングニューラルネットワークでバイアスが発生するのかを説明する強力な方法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T02:59:32Z)
• Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition [39.108491135488286]
  テストのリスクをバイアスと分散コンポーネントに分解します。 バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。 一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
  論文  参考訳（メタデータ） (2021-03-17T23:30:00Z)
• On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning [30.833538367971872]
  微調整された言語モデルは、一連のモデリングタスクにおいて保護されたグループに対するバイアスを示すことが示されている。 これまでの研究は、これらのバイアスの検出、データの表現におけるバイアスの低減、微調整時のバイアスを軽減するための補助的なトレーニング目的の使用に重点を置いていた。 下流タスクにおけるバイアスを軽減するために、上流バイアス軽減(UBM)の実現可能性とメリットについて検討する。
  論文  参考訳（メタデータ） (2020-10-24T10:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。