論文の概要: Confident but Wrong: A Constrained Decoding Diagnostic for Low-Resource Automatic Post-Editing
- arxiv url: http://arxiv.org/abs/2609.29680v1
- Date: Sun, 30 Aug 2026 19:05:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.10662
- Title: Confident but Wrong: A Constrained Decoding Diagnostic for Low-Resource Automatic Post-Editing
- Title（参考訳）: 信頼性と誤り:低リソース自動編集のための制約付きデコード診断
- Abstract要約: 低リソース言語 (LRL) のための APE はしばしば機械翻訳 (MT) の改善に失敗する
再トレーニングやアノテーションを使わずに,これら2症例を別々に診断するブラックボックスの推論時診断を導入する。
イングリッシュ・シンハラ上のデコーダのみおよびエンコーダ・デコーダモデル全体で、診断は異種後編集信号と整合した2つの障害モードを公開する。
- 参考スコア（独自算出の注目度）: 3.558346883558047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic Post-Editing (APE) for low-resource languages (LRLs) often fails to improve Machine Translation (MT), and the score alone cannot say why: whether more training would help, or whether the training data is too inconsistent to learn from. We introduce a black-box, inference-time diagnostic that tells these two cases apart without retraining or annotation. It varies an edit-distance penalty $λ$ that drives the model from free editing towards copying the MT, and reads two signals: (1) the shape of the Translation Edit Rate (TER)-vs-$λ$ curve, U-shaped if edits from the model reduce error and monotonically decreasing if none does; and (2) the ordering of constraint variants that trust model confidence to increasing degrees, which shows whether confidence tracks edit quality. Across decoder-only and encoder-decoder models on English-Sinhala, the diagnostic exposes two failure modes consistent with a heterogeneous post-edit signal as the underlying cause: Binary Collapse, where the model copies the MT or makes off-target edits, and Confident Miscalibration, where the confidence signals we test do not separate useful edits from unnecessary ones. The pattern holds on English-Marathi and English-Tamil, with the failure modes tracking the post-edit distribution rather than MT quality or language family. Beyond diagnosis, the curve shape prescribes a concrete next step for practitioners; in the favorable case, a static constraint yields a free inference-time accuracy gain. We release the first English-Sinhala (~66k) and a new English-Tamil (~39k) APE datasets with all code.
- Abstract（参考訳）: 低リソース言語(LRL)の自動ポスト編集(APE)は、しばしば機械翻訳(MT)の改善に失敗する。
再トレーニングやアノテーションを使わずに,これら2症例を別々に診断するブラックボックスの推論時診断を導入する。
1)翻訳編集率(TER)-vs-$λ$曲線の形状、(1)モデルからの編集でエラーが減少し、もし誰も起こらない場合、単調に減少するU字型、(2)モデルの信頼性を信頼する制約変動の順序付けにより、編集品質が向上するかどうかを示す。
診断は、イングリッシュ・シンハラ上のデコーダのみおよびエンコーダ・デコーダモデル全体で、不均一な後編集信号と整合性のある2つの障害モードを根本的な原因として公開する。
このパターンは、MTの品質や言語ファミリーではなく、編集後分布を追跡する障害モードを持つ、英語とマラティー語と英語のタミル語に当てはまる。
診断以外にも、曲線形状は実践者にとって具体的な次のステップを規定する。
我々は、最初の English-Sinhala (~66k) と新しい English-Tamil (~39k) APEデータセットを全コードでリリースする。
関連論文リスト
- Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA [0.16383644639245779]
マルチモーダル大言語モデル (MLLM) を医用視覚質問回答 (VQA) に適用すると, 実際の正確性に関わらず, 自信過剰なアウトプットが生じる傾向にある。
本研究では、MLLMを微調整し、複合損失関数を用いて校正を改善するためのトレーニングベースフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-25T13:33:58Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳（メタデータ） (2026-06-04T07:27:53Z) - Self-Calibrating Language Models via Test-Time Discriminative Distillation [18.46710400838861]
大規模言語モデル(LLM)は、しばしば間違って答える質問に対して体系的に過度に信頼されている。
我々は、テスト時間トレーニング(TTT)パイプラインである$textbfSECL$ ($textbfSE$lf-$textbfC$alibrating $textbfL$anguage Modelsを紹介します。
論文 参考訳（メタデータ） (2026-03-18T13:28:50Z) - Corrective Diffusion Language Models [12.724100711773593]
拡散言語モデルにおいて,不正確なトークンに低い信頼度を割り当て,正しいコンテンツを保持しながら反復的にそれらを洗練する能力として定義される補正行動について検討する。
本稿では,目に見える不正確なトークンを明示的に監視し,誤り認識の信頼性と目的の洗練を可能にする,修正指向のポストトレーニング原理を提案する。
論文 参考訳（メタデータ） (2025-12-17T17:04:38Z) - MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。
非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。
実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
論文 参考訳（メタデータ） (2024-09-22T06:43:40Z) - Towards Fine-Grained Information: Identifying the Type and Location of
Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。
我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。
実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文 参考訳（メタデータ） (2023-02-17T16:20:33Z) - Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。
本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。
タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
論文 参考訳（メタデータ） (2022-07-29T20:39:02Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳（メタデータ） (2021-06-03T05:56:57Z) - Tight Integrated End-to-End Training for Cascaded Speech Translation [40.76367623739673]
カスケード音声翻訳モデルは、離散的および非微分可能転写に依存している。
直接音声翻訳は、誤りの伝播を避けるための代替手法である。
この研究は、カスケードコンポーネント全体を1つのエンドツーエンドのトレーニング可能なモデルにまとめることの可能性を探る。
論文 参考訳（メタデータ） (2020-11-24T15:43:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。