論文の概要: In the Blind: Building Pseudo-References for MT Evaluation

• arxiv url: http://arxiv.org/abs/2609.13611v1
• Date: Fri, 11 Sep 2026 23:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.407889
• Title: In the Blind: Building Pseudo-References for MT Evaluation
• Title（参考訳）: In the Blind: Building Pseudo-References for MT Evaluation
• Abstract要約: WMT26の一般MTタスクは、人間の参照を持たない10の言語対のシステムを評価する。 これらのペアと他の6つの言語ペアに対して、擬似参照を構築する方法について説明する。 我々は、すべての参照の選択方法と、すべての参照の証明を公表する。
• 参考スコア（独自算出の注目度）: 13.520781915901233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The WMT26 General MT task evaluates systems on 10 language pairs that have no human references (neither translated from scratch nor post-edited from MT output by humans). We describe how we built the pseudo-references for these pairs and six other language pairs (in which some forms of human references are available): seven models translate the 3,277 official documents under up to five prompt conditions, giving a total of 26 system-prompt combinations; then three reference-free quality estimation (QE) models score every candidate; and a per-document selector picks one translation, which GPT-5.5 post-edits where needed. Working without references exposed a failure mode of QE-guided selection: the metrics rank fluent output in the wrong language above correct translations. Adding a confidence-scaled language identification penalty to the score fusion drives the wrong-language count to zero, and the resulting selector still scores better on MetricX than the rank-fusion baseline it replaces. Since no references were available for these pairs while we were building them, we calibrate every selection decision on last year's WMT25 human judgments. The human evaluation, released after construction, shows the cost of getting selection wrong: our references stand with the strongest participating systems when the selector kept a frontier-model candidate, and fall up to 17 ESA points below them when it did not. We release the selection method and the provenance of every reference (https://github.com/surrey-nlp/PseudoRef)
• Abstract（参考訳）: WMT26ジェネラルMTタスクは、人間の参照を持たない10の言語対のシステムを評価する(スクラッチから翻訳されたり、人間のMT出力から編集されたりはしない)。 7つのモデルが3,277のオフィシャル文書を最大5つの迅速な条件で翻訳し、26のシステムとプロンプトの組み合わせを与え、3つの参照なし品質推定(QE)モデルが各候補をスコア付けし、文書ごとのセレクタが1つの翻訳を選択し、GPT-5.5が必要に応じて後編集を行う。 基準のない作業では、QEガイダンスの選択の失敗モードが明らかになった。 スコアフュージョンに信頼度の高い言語識別ペナルティを追加すると、間違った言語カウントはゼロになり、結果のセレクタは、それが置き換えるランクフュージョンベースラインよりも、依然としてMetricXの方がスコアが良い。 作っている間に、これらのペアの参照は得られなかったので、去年のWMT25の人間による判断について、あらゆる決定を調整しました。 我々の基準は、セレクタがフロンティアモデル候補を保持した際、最強の参加システムと立脚し、そうでなければ17個のESAポイントまで下降する。 選択方法とすべての参照の証明(https://github.com/surrey-nlp/PseudoRef)をリリースします。

関連論文リスト

• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• Large Language Models Are State-of-the-Art Evaluators of Translation Quality [7.818228526742237]
  GEMBAは、翻訳品質を評価するためのGPTベースのメトリクスである。 本稿では,ChatGPTとGPT-4を含む9種類のGPTモデルについて検討する。 本手法は, MQMに基づく人間ラベルと比較した場合, 両モードで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2023-02-28T12:23:48Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Human-Paraphrased References Improve Neural Machine Translation [33.86920777067357]
  パラフレーズ参照へのチューニングは、人間の判断によりかなり良いシステムを生み出すことを示す。 我々の研究は、パラフレーズ参照が人間の判断と相関する指標となることを確認する。
  論文  参考訳（メタデータ） (2020-10-20T13:14:57Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)
• Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing [11.564158965143418]
  我々は,機械翻訳評価の課題を,シーケンス・ツー・シーケンス・パラフレーズを用いたスコアリング機械翻訳出力の1つとして捉えた。 我々は,パラフレーズ処理をゼロショット翻訳タスクとして扱う多言語NMTシステムとして,パラフレーズを訓練することを提案する。 我々の手法は単純で直感的で、訓練には人間の判断を必要としない。
  論文  参考訳（メタデータ） (2020-04-30T03:32:34Z)
• BLEU might be Guilty but References are not Innocent [34.817010352734]
  我々は,参照を収集し,その価値を自動評価で比較するための異なる手法について検討する。 典型的参照が多様性に乏しく、翻訳言語を中心にして、パラフレーズ化タスクを開発することに動機づけられた。 提案手法は,WMT 2019英語をドイツ語に投稿するだけでなく,バックトランスレーションやAPE拡張MT出力に対しても高い相関性を示す。
  論文  参考訳（メタデータ） (2020-04-13T16:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。