論文の概要: XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics

• arxiv url: http://arxiv.org/abs/2604.14934v2
• Date: Sun, 19 Apr 2026 06:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 13:51:31.187144
• Title: XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics
• Title（参考訳）: XQ-MEval: ベンチマーク翻訳メトリクスのための言語間並列品質データセット
• Abstract要約: 9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
• 参考スコア（独自算出の注目度）: 64.77152900881724
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Automatic evaluation metrics are essential for building multilingual translation systems. The common practice of evaluating these systems is averaging metric scores across languages, yet this is suspicious since metrics may suffer from cross-lingual scoring bias, where translations of equal quality receive different scores across languages. This problem has not been systematically studied because no benchmark exists that provides parallel-quality instances across languages, and expert annotation is not realistic. In this work, we propose XQ-MEval, a semi-automatically built dataset covering nine translation directions, to benchmark translation metrics. Specifically, we inject MQM-defined errors into gold translations automatically, filter them by native speakers for reliability, and merge errors to generate pseudo translations with controllable quality. These pseudo translations are then paired with corresponding sources and references to form triplets used in assessing the qualities of translation metrics. Using XQ-MEval, our experiments on nine representative metrics reveal the inconsistency between averaging and human judgment and provide the first empirical evidence of cross-lingual scoring bias. Finally, we propose a normalization strategy derived from XQ-MEval that aligns score distributions across languages, improving the fairness and reliability of multilingual metric evaluation.
• Abstract（参考訳）: 自動評価指標は多言語翻訳システムの構築に不可欠である。 これらのシステムを評価する一般的な実践は、言語間でのメトリクススコアの平均化であるが、これは、同じ品質の翻訳が言語間で異なるスコアを受け取るという、言語間スコアのバイアスに悩まされる可能性があるため、疑わしい。 言語間で並列品質のインスタンスを提供するベンチマークは存在せず、専門家のアノテーションは現実的ではないため、この問題は体系的に研究されていない。 本研究では,9つの翻訳方向をカバーする半自動構築されたデータセットであるXQ-MEvalを提案する。 具体的には、MQMで定義した誤りを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーでフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 これらの擬似翻訳は、対応するソースや参照と組み合わせて、翻訳指標の質を評価するために使用される三つ子を形成する。 XQ-MEvalを用いて、平均的判断と人的判断の矛盾を明らかにし、言語間のスコアリングバイアスの最初の実証的証拠を提供する。 最後に,XQ-MEvalをベースとした正規化手法を提案する。

関連論文リスト

• Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation [8.48956061615262]
  機械翻訳ベンチマークは、大規模言語モデル(LLM)の多言語能力を評価するために広く用いられている。 MQM形式の自動エラーがLLMの判断と,QEのベースラインからどの程度の精度で発生するか,という2つの現実的なギャップに対処する。 自然発生型ベンチマーク翻訳ではスパンの一致は自明であり, ターゲット側の翻訳誤差は, 翻訳精度において測定可能なパーセンテージ・ポイント・ドロップと一貫して関連していることがわかった。
  論文  参考訳（メタデータ） (2026-05-24T07:06:34Z)
• Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
  本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。 実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
  論文  参考訳（メタデータ） (2026-01-12T09:03:42Z)
• Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
  本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。 我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
  論文  参考訳（メタデータ） (2025-04-10T09:24:54Z)
• Can Automatic Metrics Assess High-Quality Translations? [28.407966066693334]
  現在のメトリクスは、翻訳品質の微妙な違いに敏感であることを示す。 この効果は、品質が高く、代替品間のばらつきが低い場合に最も顕著である。 MQMフレームワークを金の標準として使用することにより、現在のメトリクスが人間によってマークされた誤りのない翻訳を識別する能力を体系的にストレステストする。
  論文  参考訳（メタデータ） (2024-05-28T16:44:02Z)
• BiVert: Bidirectional Vocabulary Evaluation using Relations for Machine Translation [4.651581292181871]
  本稿では,テキストから翻訳の感覚距離を評価するための双方向意味に基づく評価手法を提案する。 このアプローチでは、包括的な多言語百科事典BabelNetを用いる。 Factual analysis is a strong correlation between the average evaluations generated by our method and the human evaluations across various machine translation system for English- German language pair。
  論文  参考訳（メタデータ） (2024-03-06T08:02:21Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。