論文の概要: Refined Assessment for Translation Evaluation: Rethinking Machine Translation Evaluation in the Era of Human-Level Systems

• arxiv url: http://arxiv.org/abs/2610.33749v1
• Date: Sat, 24 Oct 2026 15:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.436072
• Title: Refined Assessment for Translation Evaluation: Rethinking Machine Translation Evaluation in the Era of Human-Level Systems
• Title（参考訳）: 翻訳評価のための再検討:人間レベルシステム時代における機械翻訳評価の再考
• Abstract要約: 我々は、WMT24から英語とロシア語の翻訳に対する人間の評価からなる高品質なデータセットについて紹介する。 時間的圧力のない専門家による評価は、標準評価とは大きく異なる結果をもたらすことを示す。 この専門家のデータセットを用いて分析した結果、最先端のMTシステムは、まだ流速が遅いまま、正確さで人間の翻訳を上回った可能性があることが判明した。
• 参考スコア（独自算出の注目度）: 7.614480655858338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine translation systems approach human-level quality, traditional evaluation methodologies struggle to detect subtle translation errors. We critically examine limitations in current gold-standard approaches (MQM and ESA), including inconsistencies from variable annotator expertise, excessive categorization complexity, coarse severity granularity, accuracy bias over fluency, and time constraints. To address this issue, we introduce a high-quality dataset consisting of human evaluations for English-Russian translations from WMT24, created by professional linguists. We show that expert assessments without time pressure yield substantially different results from standard evaluations. To enable consistent and rich annotation by these experts, we developed the RATE (Refined Assessment for Translation Evaluation) protocol. RATE provides a streamlined error taxonomy, expanded severity ratings, and multidimensional scoring balancing accuracy and fluency, facilitating deeper analysis of MT outputs. Our analysis, powered by this expert dataset, reveals that state-of-the-art MT systems may have surpassed human translations in accuracy while still lagging in fluency - a critical distinction obscured by existing accuracy-biased metrics. Our findings highlight that advancing MT evaluation requires not only better protocols but crucially, high-quality annotations from skilled linguists.
• Abstract（参考訳）: 機械翻訳システムが人間レベルの品質に近づくにつれ、従来の評価手法は微妙な翻訳誤りを検出するのに苦労する。 可変アノテータの専門知識の不整合,過剰な分類複雑性,粗度粒度,フラエンシに対する精度バイアス,時間制約など,現行のゴールドスタンダードアプローチ(MQMおよびESA)の限界を批判的に検討する。 この問題に対処するために、プロの言語学者が作成したWMT24からの英語とロシア語の翻訳に対する人間の評価からなる高品質なデータセットを提案する。 時間的圧力のない専門家による評価は、標準評価とは大きく異なる結果をもたらすことを示す。 これらの専門家による一貫したリッチなアノテーションを実現するため、RATE(Refined Assessment for Translation Evaluation)プロトコルを開発した。 RATEは、誤り分類の合理化、重大度評価の拡充、多次元スコアリングの精度と流線型性を提供し、MT出力のより深い分析を容易にする。 我々の分析は、この専門家のデータセットを利用して、最先端のMTシステムが人間の翻訳を正確さで上回った可能性があることを明らかにしています。 この結果から,MT評価の進歩には,優れたプロトコルだけでなく,熟練言語学者による高品質なアノテーションが必要であることが示唆された。

関連論文リスト

• Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
  本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。 実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
  論文  参考訳（メタデータ） (2026-01-12T09:03:42Z)
• Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
  本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。 我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
  論文  参考訳（メタデータ） (2025-04-10T09:24:54Z)
• Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
  ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。 本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。 提案手法は品質評価において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:39:41Z)
• HOPE: A Task-Oriented and Human-Centric Evaluation Framework Using Professional Post-Editing Towards More Effective MT Evaluation [0.0]
  本研究では,機械翻訳出力のためのタスク指向・人間中心評価フレームワークHOPEを紹介する。 一般的に発生するエラーの種類は限られており、各翻訳ユニットにエラー重大度レベルを反映する誤差ペナルティポイント(EPP)の幾何学的進行を伴うスコアリングモデルを使用する。 このアプローチには、異なるシステムからの完全なMT出力を測定および比較する能力、品質に対する人間の認識を示す能力、MT出力を高品質にするために必要となる労力の即時見積、低コストで高速なアプリケーション、より高いIRRなど、いくつかの重要な利点がある。
  論文  参考訳（メタデータ） (2021-12-27T18:47:43Z)
• Uncertainty-Aware Machine Translation Evaluation [0.716879432974126]
  我々は,不確実性を考慮したMT評価を導入し,予測品質の信頼性を分析した。 QT21データセットとWMT20メトリクスタスクから,複数の言語ペア間での不確実性を考慮したMT評価手法の性能を比較した。
  論文  参考訳（メタデータ） (2021-09-13T22:46:03Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。