論文の概要: Beyond Prompts: A Systematic Study of LLM-Based Machine Translation Evaluators

• arxiv url: http://arxiv.org/abs/2610.33741v1
• Date: Sat, 24 Oct 2026 15:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.433803
• Title: Beyond Prompts: A Systematic Study of LLM-Based Machine Translation Evaluators
• Title（参考訳）: Beyond Prompts: LLMベースの機械翻訳評価器の体系的研究
• Abstract要約: 本稿では,命令設計,数発のデモ,バックボーンモデル選択,マルチステップ設定がスパンレベルおよびランキングに基づくMT評価に与える影響について,系統的研究を行う。 私たちの最も強力な構成は、エラースパン検出や精度、ランキングにおいて、専門家のアノテーションよりも約20倍のコストで専門家レベルのパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 0.10624503690339597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based evaluators have rapidly become a standard tool for machine translation evaluation, yet the design choices that shape their behavior remain poorly understood. We present a systematic study of how instruction design, few-shot demonstrations, backbone model choice, and multi-step workflows affect span-level and ranking-based MT evaluation. We collect new expert RATE annotations on WMT24 and WMT25 English-Russian translations, with transfer validation on MQM- and ESA-annotated benchmarks across five additional language pairs. Our experiments reveal four robust findings: instruction structure shapes evaluator behavior, high-quality demonstrations matter more than quantity, frontier backbones exhibit distinct evaluator profiles (recall-, precision-, or ranking-oriented), and fusing outputs across diverse backbones outperforms single-evaluator multi-call setups. Although evaluator design exposes a large combinatorial space, several discovered design principles transfer consistently across annotation protocols and language pairs. We synthesize these findings into ORBIT, a family of LLM-based MT evaluators. Our strongest configurations achieve expert-level performance in error span detection and in Accuracy and Fluency ranking at roughly 20x lower cost than expert human annotation.
• Abstract（参考訳）: LLMベースの評価器は急速に機械翻訳評価の標準ツールとなっているが、それらの振る舞いを形作る設計選択はいまだに理解されていない。 本稿では,命令設計,数発のデモ,バックボーンモデル選択,マルチステップワークフローがスパンレベルおよびランキングに基づくMT評価にどのように影響するかを体系的に検討する。 WMT24 と WMT25 の英ロシア語翻訳に対して,新たな専門家 RATE アノテーションを収集し,MQM- と ESA-アノテートされたベンチマークを5つの追加言語ペア間で転送検証する。 実験の結果,命令構造が評価器の挙動を形作っていること,高品質な実証が量よりも重要であること,フロンティアのバックボーンが異なる評価器のプロファイル(リコール,精度,ランキング指向)を示すこと,様々なバックボーンにまたがる出力が単一評価器のマルチコールよりも優れていること,の4つのロバストな結果が得られた。 評価器の設計は、大きな組合せ空間を公開するが、いくつかの発見された設計原則は、アノテーションプロトコルと言語ペア間で一貫して伝達される。 我々はこれらの知見をLSMに基づくMT評価器のファミリーであるORBITに合成する。 我々の最も強力な構成は、エラースパン検出における専門家レベルのパフォーマンスと、専門家のアノテーションよりも約20倍のコストで精度と頻度のランク付けを実現しています。

関連論文リスト

• Lost in Translation: Do LVLM Judges Generalize Across Languages? [46.119587015038746]
  MM-JudgeBenchは,マルチリンガルおよびマルチモーダルの判断モデル評価のための,最初の大規模ベンチマークである。 MM-JudgeBenchには、25のタイプ的多種多様な言語にまたがる60万以上のペアの好みインスタンスが含まれている。 LVLMを22個評価することにより,提案するベンチマークにおいて,言語間性能のかなりのばらつきを明らかにした。
  論文  参考訳（メタデータ） (2026-04-21T12:29:10Z)
• Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
  本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。 実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
  論文  参考訳（メタデータ） (2026-01-12T09:03:42Z)
• MENLO: From Preferences to Proficiency - Evaluating and Modeling Native-like Quality Across 47 Languages [18.278876042011383]
  オーディエンスにインスパイアされたメカニズムに基づいた,ネイティブな応答品質の評価を運用するフレームワークであるMENLOを紹介する。 我々は,47種類の言語において,高いアノテータ間一致を伴う4つの品質次元をカバーする6,423個の人称アノテート・レスポンス・プライオリティ・ペアのデータセットを作成する。
  論文  参考訳（メタデータ） (2025-09-30T17:48:58Z)
• MT-LENS: An all-in-one Toolkit for Better Machine Translation Evaluation [1.7775825387442485]
  MT-LENSは、様々なタスクで機械翻訳(MT)システムを評価するために設計されたフレームワークである。 ユーザーフレンドリーなプラットフォームを提供し、システムを比較し、翻訳をインタラクティブな視覚化で分析する。
  論文  参考訳（メタデータ） (2024-12-16T09:57:28Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Prompting PaLM for Translation: Assessing Strategies and Performance [16.73524055296411]
  経路言語モデル (PaLM) は, 同様に訓練されたLLMの中で最強の機械翻訳(MT)性能を示した。 我々は、PaLMのMT機能に関する以前の評価を、より最近のテストセット、現代のMTメトリクス、そして人間の評価で再検討し、その性能は、印象的ではあるが、最先端の監視システムよりも遅れていることを発見した。
  論文  参考訳（メタデータ） (2022-11-16T18:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。