論文の概要: Source-Free MT Evaluation Is Not MT Evaluation

• arxiv url: http://arxiv.org/abs/2608.20925v1
• Date: Fri, 21 Aug 2026 09:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.498131
• Title: Source-Free MT Evaluation Is Not MT Evaluation
• Title（参考訳）: ソースフリーMT評価はMT評価ではない
• Abstract要約: 我々は、ソースに関して妥当性を判断しなければならないと論じる。 既存のハイブリッドメトリクスは、ソースよりも参照に大きく依存していることを示す。
• 参考スコア（独自算出の注目度）: 31.146042453777003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reference-based metrics remain the standard choice in machine translation evaluation, partly because quality estimation methods often correlate less well with human judgments. As a result, source-free, reference-based evaluation has become the practical norm, even though it is unfaithful to the definition of translation adequacy and unfair to systems whose outputs preserve the source meaning while differing from the reference. This paper argues that adequacy must be judged with respect to the source. A reference is only one possible rendering of the source and may introduce bias, under-specification, or errors. We further argue that source-reference-hypothesis evaluation is fair only when the judge treats the reference as auxiliary evidence rather than as the primary standard. Otherwise, even source-aware evaluation can reduce adequacy to preference towards reference. We show the existing hybrid metrics are highly reliant on reference compared to source. Our argument is not that all automatic MT metrics fail to use the source. Rather, we argue that any evaluation protocol that removes the source, or allows the reference to dominate the source, is structurally incomplete for adequacy evaluation. However, existing MT papers generally prefer reference-based metrics and use QE metrics only when reference is unavailable. We therefore call for QE to be reframed as a primary approach to source-grounded adequacy evaluation, rather than as a fallback motivated by missing references. We further call for hybrid metrics whose designs explicitly prioritize source--hypothesis faithfulness while using references only as complementary evidence.
• Abstract（参考訳）: 基準ベースのメトリクスは、機械翻訳評価において標準的な選択肢であり、品質推定手法が人間の判断とあまり相関しないことがあるためである。 その結果、ソースフリーの基準ベース評価は、翻訳精度の定義に不信であり、出力が基準と異なり、ソースの意味を保っているシステムに対して不公平であるにもかかわらず、実践的な基準となっている。 この論文は、根拠について、妥当性を判断しなければならないと論じている。 参照はソースの1つの可能なレンダリングであり、バイアス、過小評価、エラーをもたらす可能性がある。 さらに,基準基準としてではなく補助的証拠として判断した場合のみ,基準-仮説-仮説評価が公平であると主張する。 さもなければ、ソース認識評価でさえ、参照に対する嗜好の妥当性を低下させる可能性がある。 既存のハイブリッドメトリクスは、ソースよりも参照に大きく依存していることを示す。 私たちの主張は、すべての自動MTメトリクスがソースを使わないということではありません。 むしろ、ソースを削除したり、参照がソースを支配できるような評価プロトコルは、構造的に不完全である、と我々は主張する。 しかし、既存のMT論文は一般的に参照ベースのメトリクスを好んでおり、参照が利用できない場合にのみQEメトリクスを使用する。 したがって、QEは、参照不足によって動機づけられたフォールバックとしてではなく、ソースグラウンドの妥当性評価に対する第一のアプローチとして再編成されるように要求する。 我々はさらに、参照を補完的な証拠としてのみ使用しながら、設計がソース-仮説の忠実さを明示的に優先するハイブリッドメトリクスを提唱する。

関連論文リスト

• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• Reference-based Metrics Disprove Themselves in Question Generation [17.83616985138126]
  人手による参照を用いることで、参照ベースのメトリクスの有効性を保証できないことがわかった。 優れた測定基準は、生成した質問に比較して、人間公認の質問を格付けすることが期待されている。 本研究では, 自然性, 応答性, 複雑性などの多次元的基準からなる基準自由度尺度を提案する。
  論文  参考訳（メタデータ） (2024-03-18T20:47:10Z)
• SocREval: Large Language Models with the Socratic Method for Reference-Free Reasoning Evaluation [78.23119125463964]
  我々は,参照フリー推論評価における新規な設計手法であるSocREvalを開発した。 SocREvalはGPT-4の性能を大幅に改善し、既存の参照フリーおよび参照ベース推論評価指標を上回っている。
  論文  参考訳（メタデータ） (2023-09-29T18:25:46Z)
• SLIDE: Reference-free Evaluation for Machine Translation using a Sliding Document Window [24.524282909076767]
  本稿では,文ブロックで動作するSLIDE(SLIding Document Evaluator)というメトリクスを提案する。 SLIDEは文レベルベースラインよりもペアワイズシステムの精度がかなり高いことがわかった。 このことは、ソースの曖昧さを曖昧にするために、ソースコンテキストが人間の参照と同じ情報を提供する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-09-16T01:30:58Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)
• DocAsRef: An Empirical Study on Repurposing Reference-Based Summary Quality Metrics Reference-Freely [29.4981129248937]
  そこで本論文では,参照に基づくメトリクスを効果的に適用して,対応する参照に対してシステム概要を評価することを提案する。 ゼロショットのBERTScoreは、参照フリーで再利用された後、オリジナルの参照ベースバージョンよりも一貫してパフォーマンスが向上した。 GPT-3.5に基づくゼロショット要約評価器と密接に競合する。
  論文  参考訳（メタデータ） (2022-12-20T06:01:13Z)
• On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
  基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。 機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-22T22:12:06Z)
• Revisiting the Evaluation Metrics of Paraphrase Generation [35.6803390044542]
  多くの既存のパラフレーズ生成モデルは、生成されたパラフレーズを評価するために参照ベースのメトリクスを使用する。 本稿では、生成されたパラフレーズの品質を反映できる参照フリーメトリックであるBBScoreを提案する。
  論文  参考訳（メタデータ） (2022-02-17T07:18:54Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)
• BLEU might be Guilty but References are not Innocent [34.817010352734]
  我々は,参照を収集し,その価値を自動評価で比較するための異なる手法について検討する。 典型的参照が多様性に乏しく、翻訳言語を中心にして、パラフレーズ化タスクを開発することに動機づけられた。 提案手法は,WMT 2019英語をドイツ語に投稿するだけでなく,バックトランスレーションやAPE拡張MT出力に対しても高い相関性を示す。
  論文  参考訳（メタデータ） (2020-04-13T16:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。