論文の概要: Mitigating Metric Bias in Minimum Bayes Risk Decoding

• arxiv url: http://arxiv.org/abs/2411.03524v1
• Date: Tue, 05 Nov 2024 22:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:45.476112
• Title: Mitigating Metric Bias in Minimum Bayes Risk Decoding
• Title（参考訳）: 最小ベイズリスクデコードにおけるメトリックバイアスの緩和
• Authors: Geza Kovacs, Daniel Deutsch, Markus Freitag,
• Abstract要約: COMETやMetricXのようなメトリクスを使用した最小ベイズリスク(MBR)復号法は、greedyやビームサーチといった従来の復号法よりも優れている。 MBRデコーディングは、特定のユーティリティメトリックに従って高いスコアの翻訳を生成することを目的としている。 これにより、デコードと評価の両方に同じメトリックを使用することが不可能になる。
• 参考スコア（独自算出の注目度）: 24.97933059870959
• License:
• Abstract: While Minimum Bayes Risk (MBR) decoding using metrics such as COMET or MetricX has outperformed traditional decoding methods such as greedy or beam search, it introduces a challenge we refer to as metric bias. As MBR decoding aims to produce translations that score highly according to a specific utility metric, this very process makes it impossible to use the same metric for both decoding and evaluation, as improvements might simply be due to reward hacking rather than reflecting real quality improvements. In this work we find that compared to human ratings, neural metrics not only overestimate the quality of MBR decoding when the same metric is used as the utility metric, but they also overestimate the quality of MBR/QE decoding with other neural utility metrics as well. We also show that the metric bias issue can be mitigated by using an ensemble of utility metrics during MBR decoding: human evaluations show that MBR decoding using an ensemble of utility metrics outperforms a single utility metric.
• Abstract（参考訳）: COMET や MetricX などのメトリクスを用いた最小ベイズリスク(MBR)復号法は、greedy や beam search といった従来の復号法よりも優れているが、これはメトリックバイアスと呼ばれる課題をもたらす。 MBR復号化は、特定の効用指標に基づいて高いスコアの翻訳を作ることを目的としているため、このプロセスは、実際の品質改善を反映するのではなく、単に報酬のハッキングによるものであるため、復号化と評価の両方に同じ指標を使用することを不可能にしている。 この研究で、人間の評価と比較すると、ニューラルネットワークメトリクスは、同じメトリックがユーティリティメトリックとして使用される場合、MBRデコーディングの品質を過大評価するだけでなく、他のニューラルネットワークユーティリティメトリクスとMBR/QEデコーディングの品質を過大評価する。 また,MBRデコーディングにおいて,実用指標のアンサンブルを用いることで,測定バイアス問題を緩和できることが示される: 実用指標のアンサンブルを用いたMBRデコーディングが,単一の実用指標よりも優れていたことを示す。

関連論文リスト

• Beyond Correlation: Interpretable Evaluation of Machine Translation Metrics [46.71836180414362]
  本稿では,機械翻訳(MT)メトリクスの解釈可能な評価フレームワークを提案する。 このフレームワーク内では、データフィルタリングと翻訳の再ランク付けユースケースのプロキシとして機能する2つのシナリオでメトリクスを評価する。 また、DA+SQMガイドラインに従って、手動でキュレートしたデータの信頼性に関する懸念も提起する。
  論文  参考訳（メタデータ） (2024-10-07T16:42:10Z)
• Better Instruction-Following Through Minimum Bayes Risk [48.879360919760074]
  人間レベルの評価が可能な汎用LLM審査員は、命令追従LLMを評価するスケーラブルで正確な方法を提供する。 LLM判事を監督に活用する有望な方法の1つは、最小ベイズリスク(MBR)デコーディングである。 MBRデコードでは、基準ベースの評価器を使用して、候補出力のセットの中から高品質な出力を選択する。
  論文  参考訳（メタデータ） (2024-10-03T18:48:38Z)
• Unveiling the Power of Source: Source-based Minimum Bayes Risk Decoding for Neural Machine Translation [30.323103270892734]
  ニューラルマシン翻訳(NMT)の一般的な手法である、最大後部復号法は、推定後部確率を最大化することを目的としている。 最小ベイズリスク(MBR)復号法は、最も期待されているユーティリティで仮説を求める方法を提供する。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• Efficient Minimum Bayes Risk Decoding using Low-Rank Matrix Completion Algorithms [19.543681023903456]
  行列補完問題として最小ベイズリスク(MBR)デコーディングを定式化する。 我々は、スコアのランダムな部分集合のみを計算し、行列の欠落したエントリを効率的に回収することでこれを活用する。 機械翻訳タスクに対する実験結果から,提案手法は1/16の有効量計算を必要とすることが示された。
  論文  参考訳（メタデータ） (2024-06-05T00:54:03Z)
• Centroid-Based Efficient Minimum Bayes Risk Decoding [38.04403087991526]
  最小ベイズリスク(MBR)復号化はCOMETを用いて最先端の翻訳性能を達成した。 MBR復号法は、翻訳仮説とすべての参照翻訳の間の期待スコアを計算するため、2次時間を必要とする。 提案手法は特徴空間内の参照翻訳をクラスタリングし,各クラスタのセントロイドを用いてスコアを算出する。
  論文  参考訳（メタデータ） (2024-02-17T05:15:12Z)
• Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
  最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:30Z)
• Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
  本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。 提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。 実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-11-25T03:38:14Z)
• Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
  そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。 我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
  論文  参考訳（メタデータ） (2023-10-10T15:33:51Z)
• It's MBR All the Way Down: Modern Generation Techniques Through the Lens of Minimum Bayes Risk [57.641436861482696]
  最小ベイズリスク(MBR)復号法(英: Minimum Bayes Risk, MBR)は、最も高い確率で出力するだけでなく、複数の候補の間で最も低いリスク(予測誤差)を持つ出力に基づいて、機械学習システムの出力を選択する方法である。
  論文  参考訳（メタデータ） (2023-10-02T17:47:10Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。