論文の概要: Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
- arxiv url: http://arxiv.org/abs/2512.07540v1
- Date: Mon, 08 Dec 2025 13:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.902665
- Title: Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
- Title(参考訳): 参照フリー自動機械翻訳評価における誤りスパン検出のための最小ベイズリスク復号法
- Authors: Boxuan Lyu, Haiyue Song, Hidetaka Kamigaito, Chenchen Ding, Hideki Tanaka, Masao Utiyama, Kotaro Funakoshi, Manabu Okumura,
- Abstract要約: Maximum a Posteriori (MAP) を用いた最新造形ESD法
生成ESDモデルに最小ベイズリスク(MBR)デコードを適用することでこの問題に対処する。
- 参考スコア(独自算出の注目度): 50.83502171176548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Error Span Detection (ESD) is a subtask of automatic machine translation evaluation that localizes error spans in translations and labels their severity. State-of-the-art generative ESD methods typically decode using Maximum a Posteriori (MAP), assuming that model-estimated probabilities are perfectly correlated with similarity to human annotation. However, we observed that annotations dissimilar to the human annotation could achieve a higher model likelihood than the human annotation. We address this issue by applying Minimum Bayes Risk (MBR) decoding to generative ESD models. Specifically, we employ sentence- and span-level similarity metrics as utility functions to select candidate hypotheses based on their approximate similarity to the human annotation. Extensive experimental results show that our MBR decoding outperforms the MAP baseline at the system, sentence, and span-levels. Furthermore, to mitigate the computational cost of MBR decoding, we demonstrate that applying MBR distillation enables a standard greedy model to match MBR decoding performance, effectively eliminating the inference-time latency bottleneck.
- Abstract(参考訳): Error Span Detection (ESD) は自動機械翻訳評価のサブタスクであり、翻訳中のエラーをローカライズし、その重大さをラベル付けする。
モデル推定確率が人間のアノテーションと完全に類似していると仮定して、現在最先端のジェネレーティブESD法は、一般的には Maximum a Posteriori (MAP) を用いてデコードされる。
しかし,ヒトのアノテーションと異なるアノテーションは,ヒトのアノテーションよりも高いモデル可能性が得られることが観察された。
生成ESDモデルに最小ベイズリスク(MBR)デコードを適用することでこの問題に対処する。
具体的には,文章レベルの類似度を有効関数として用いて,人間のアノテーションと近似した類似度に基づいて候補仮説を選択する。
MBRの復号化は,システム,文,スパンレベルにおいてMAPベースラインよりも優れていた。
さらに, MBR復号化の計算コストを軽減するために, MBR蒸留を適用することにより, MBR復号化性能に適合する標準グリーディモデルが実現され, 推論時間遅延のボトルネックを効果的に解消できることを示した。
関連論文リスト
- Agreement-Constrained Probabilistic Minimum Bayes Risk Decoding [51.82883249233765]
本稿では,知識蒸留モデルを利用してスコア行列の完成を導出する,合意制約付きPMBR復号法を提案する。
我々のAC-PMBR復号法は,行列補完の近似誤差を最大3倍に改善し,PMBR復号法と比較して高い翻訳品質を実現した。
論文 参考訳(メタデータ) (2025-12-01T06:16:47Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳(メタデータ) (2025-10-02T06:25:10Z) - Randomized Smoothing Meets Vision-Language Models [6.224335082856828]
ランダムスムーシング(RS)は、機械学習モデルの正確性を保証するために使用される。
生成モデルではRSが引き続き有効であることを示す。
我々は,検体数に対する検体半径と精度を解析的に関連づけたスケーリング法を導出した。
これらの進歩は、最先端のVLMに対して、明確に定義され、計算的に実現可能なロバストネス認証を実現する。
論文 参考訳(メタデータ) (2025-09-19T15:33:22Z) - Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。
これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。
本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
論文 参考訳(メタデータ) (2024-02-06T18:59:30Z) - Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding [5.639904484784127]
最小ベイズリスクデコーディング(MBR)は、幅広いテキスト生成タスクに対するビームサーチデコーディングの強力な代替手段である。
MBRは、目的を計算するのに膨大な時間を必要とする。
CBP(Confidence-based pruning)は、最近機械翻訳タスクにおける推論時間を削減するために提案されている。
論文 参考訳(メタデータ) (2024-01-05T11:02:08Z) - Faster Minimum Bayes Risk Decoding with Confidence-based Pruning [8.709382540743391]
本稿では,最小ベイズリスク(MBR)復号化アルゴリズムについて述べる。
提案手法では, サンプルが少なく, 実用機能への呼び出し回数を標準のMBRに比べて大幅に削減する。
実用・評価指標として chrF++ と COMET を用いた3つの言語対の実験において,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-11-25T03:38:14Z) - Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。
我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
論文 参考訳(メタデータ) (2023-10-10T15:33:51Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Understanding the Properties of Minimum Bayes Risk Decoding in Neural
Machine Translation [26.33252528975464]
ニューラルマシン翻訳(nmt)は現在、短すぎる翻訳や頻繁な単語の過剰生成といったバイアスを示している。
最近の研究はこれらの欠点をビームサーチに結びつけている。
Eikema & Aziz (2020) は、代わりに最小ベイズリスク(MBR)デコードを使用することを提案した。
論文 参考訳(メタデータ) (2021-05-18T13:31:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。