論文の概要: Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
- arxiv url: http://arxiv.org/abs/2512.07540v1
- Date: Mon, 08 Dec 2025 13:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.902665
- Title: Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
- Title(参考訳): 参照フリー自動機械翻訳評価における誤りスパン検出のための最小ベイズリスク復号法
- Authors: Boxuan Lyu, Haiyue Song, Hidetaka Kamigaito, Chenchen Ding, Hideki Tanaka, Masao Utiyama, Kotaro Funakoshi, Manabu Okumura,
- Abstract要約: Maximum a Posteriori (MAP) を用いた最新造形ESD法
生成ESDモデルに最小ベイズリスク(MBR)デコードを適用することでこの問題に対処する。
- 参考スコア(独自算出の注目度): 50.83502171176548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Error Span Detection (ESD) is a subtask of automatic machine translation evaluation that localizes error spans in translations and labels their severity. State-of-the-art generative ESD methods typically decode using Maximum a Posteriori (MAP), assuming that model-estimated probabilities are perfectly correlated with similarity to human annotation. However, we observed that annotations dissimilar to the human annotation could achieve a higher model likelihood than the human annotation. We address this issue by applying Minimum Bayes Risk (MBR) decoding to generative ESD models. Specifically, we employ sentence- and span-level similarity metrics as utility functions to select candidate hypotheses based on their approximate similarity to the human annotation. Extensive experimental results show that our MBR decoding outperforms the MAP baseline at the system, sentence, and span-levels. Furthermore, to mitigate the computational cost of MBR decoding, we demonstrate that applying MBR distillation enables a standard greedy model to match MBR decoding performance, effectively eliminating the inference-time latency bottleneck.
- Abstract(参考訳): Error Span Detection (ESD) は自動機械翻訳評価のサブタスクであり、翻訳中のエラーをローカライズし、その重大さをラベル付けする。
モデル推定確率が人間のアノテーションと完全に類似していると仮定して、現在最先端のジェネレーティブESD法は、一般的には Maximum a Posteriori (MAP) を用いてデコードされる。
しかし,ヒトのアノテーションと異なるアノテーションは,ヒトのアノテーションよりも高いモデル可能性が得られることが観察された。
生成ESDモデルに最小ベイズリスク(MBR)デコードを適用することでこの問題に対処する。
具体的には,文章レベルの類似度を有効関数として用いて,人間のアノテーションと近似した類似度に基づいて候補仮説を選択する。
MBRの復号化は,システム,文,スパンレベルにおいてMAPベースラインよりも優れていた。
さらに, MBR復号化の計算コストを軽減するために, MBR蒸留を適用することにより, MBR復号化性能に適合する標準グリーディモデルが実現され, 推論時間遅延のボトルネックを効果的に解消できることを示した。
関連論文リスト
- Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳(メタデータ) (2024-02-06T18:59:30Z) - Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding [5.639904484784127]
最小ベイズリスクデコーディング(MBR)は、幅広いテキスト生成タスクに対するビームサーチデコーディングの強力な代替手段である。
MBRは、目的を計算するのに膨大な時間を必要とする。
CBP(Confidence-based pruning)は、最近機械翻訳タスクにおける推論時間を削減するために提案されている。
論文 参考訳(メタデータ) (2024-01-05T11:02:08Z) - Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。
提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。
実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-11-25T03:38:14Z) - Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。
我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
論文 参考訳(メタデータ) (2023-10-10T15:33:51Z) - Understanding the Properties of Minimum Bayes Risk Decoding in Neural
Machine Translation [26.33252528975464]
ニューラルマシン翻訳(nmt)は現在、短すぎる翻訳や頻繁な単語の過剰生成といったバイアスを示している。
最近の研究はこれらの欠点をビームサーチに結びつけている。
Eikema & Aziz (2020) は、代わりに最小ベイズリスク(MBR)デコードを使用することを提案した。
論文 参考訳(メタデータ) (2021-05-18T13:31:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。