論文の概要: Rubric-as-Experts: Case-Specific MQM Rubrics for Translation Quality Evaluation
- arxiv url: http://arxiv.org/abs/2606.21559v1
- Date: Fri, 19 Jun 2026 15:56:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 12:43:44.631841
- Title: Rubric-as-Experts: Case-Specific MQM Rubrics for Translation Quality Evaluation
- Title（参考訳）: Rubric-as-Experts:Case-Specific MQM Rubrics for Translation Quality Evaluation
- Abstract要約: 大規模言語モデル(LLM)は、細粒度翻訳品質評価(QE)において強い可能性を示している。
既存のMQMベースのアプローチは通常、すべての翻訳サンプル間で共有される固定されたルーブリック構成に依存します。
本稿では,個別翻訳インスタンスに対するMQM評価空間を適応的に構築するケース固有動的ルーリックフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 25.962832706506457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown strong potential in fine-grained translation quality evaluation (QE), yet existing MQM-based approaches typically rely on fixed rubric configurations shared across all translation samples. However, translation instances often differ substantially in error complexity, ambiguity, and required evaluation granularity, making static rubric allocation suboptimal for span-level error detection. We find that larger MQM subtype spaces improve error coverage but also introduce more false positives, while different translation instances prefer different rubric granularities, suggesting that evaluation spaces should be allocated dynamically for each case. Motivated by these observations, we propose a case-specific dynamic rubric framework that adaptively constructs MQM evaluation spaces for individual translation instances. Unlike fully free-form rubric generation methods, our framework remains grounded in the predefined MQM taxonomy while dynamically selecting suitable subtype spaces and evaluation granularity for different cases. Experiments on WMT span-level QE benchmarks across multiple model scales demonstrate that the proposed framework consistently improves MCC and produces cleaner span-level error localization compared with static rubric settings. Our results suggest that combining structured MQM rubrics with case-specific adaptive allocation is an effective strategy for fine-grained LLM-based translation evaluation.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、細粒度翻訳品質評価(QE)において強力な可能性を示しているが、既存のMQMベースのアプローチは通常、すべての翻訳サンプル間で共有される固定されたルーリック構成に依存している。
しかし、翻訳インスタンスは、しばしばエラーの複雑さ、曖昧さ、必要な評価粒度で大きく異なり、スパンレベルのエラー検出に静的なルーリック割当を最適化する。
より大きいMQMサブタイプ空間はエラーカバレッジを改善するが、より偽陽性をもたらすのに対し、異なる翻訳インスタンスは異なるルーリックな粒度を好んでおり、各ケースに対して評価空間を動的に割り当てるべきである。
これらの観測により,各翻訳インスタンスに対するMQM評価空間を適応的に構築するケース固有動的ルーブリックフレームワークを提案する。
完全に自由なルーブリック生成法とは異なり、我々のフレームワークは、適切なサブタイプ空間を動的に選択し、異なるケースに対する評価粒度を評価しながら、予め定義されたMQM分類に基礎を置いている。
複数のモデルスケールにわたるWMTスパンレベルQEベンチマークの実験により、提案フレームワークはMCCを一貫して改善し、静的なルーリック設定に比べてよりクリーンなスパンレベルエラーローカライゼーションを生成することが示された。
この結果から, 構造化MQMルーブリックとケース固有適応アロケーションを組み合わせることは, LLMを用いた翻訳評価に有効な方法であることが示唆された。
関連論文リスト
- GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。
我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。
人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
論文 参考訳（メタデータ） (2026-08-30T15:39:39Z) - Credit the Right Box: Marginal Contribution Assignment for Structured Visual Perception [14.939557815820693]
Marginal Contribution Reward (MCR) は、各予測ボックスのコントリビューションを、アウトアウト比較によって推定する。
Continuous Matched Set Value Evaluatorは、置換不変マッチング、カウントアウェア正規化、グレードローカライゼーションを統合している。
REC、DOD、セグメンテーション、カウントベンチマークにわたる実験は、以前のGRPOベースのベースラインよりも最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-08-02T07:43:09Z) - Multilingual Fine-Tuning via Localized Gradient Conflict Resolution [20.41455787951831]
我々は、勾配に基づくMOOアルゴリズムを局所的に適用するスケーラブルな分散フレームワークであるBucket-Level MOOを紹介した。
実証的に、Bucket-Level MOOは大きな言語モデルを駆動することで干渉を緩和し、異なる言語固有の次元を構築する。
提案手法は,従来の微調整パラダイムよりも多言語性能を著しく向上させる。
論文 参考訳（メタデータ） (2026-06-04T02:36:30Z) - XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。
MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。
XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
論文 参考訳（メタデータ） (2026-04-16T12:27:10Z) - Domain-Specific Quality Estimation for Machine Translation in Low-Resource Scenarios [10.17317882426833]
本研究は,4つの領域(医療,法,観光,一般)と5つの言語対にわたる英語とインデックスの機械翻訳における文レベルQEについて検討する。
クローズドウェイトモデルが単独で強力なパフォーマンスを達成する一方で、プロンプトのみのアプローチはオープンウェイトモデルには脆弱なままである。
論文 参考訳（メタデータ） (2026-03-07T22:55:25Z) - Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。
実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
論文 参考訳（メタデータ） (2026-01-12T09:03:42Z) - Towards Fine-Grained Vision-Language Alignment for Few-Shot Anomaly Detection [65.29550320117526]
我々はFinGrainedADという新しいフレームワークを提案し、異常なローカライゼーション性能を改善する。
実験により、提案されたFinGrainedADは、数ショット設定で全体的なパフォーマンスが優れていることが示された。
論文 参考訳（メタデータ） (2025-10-30T13:09:00Z) - Fluid Language Model Benchmarking [126.92394365620525]
我々は,複数の次元にわたるLMベンチマークを進展させる新しい評価手法であるFluid Benchmarkingを紹介する。
サイコメトリックスにインスパイアされたFluid Benchmarkingは、ベンチマーク項目の相対値がLMの能力レベルに依存するという洞察に基づいている。
効率性,妥当性,分散性,飽和性の4つの次元を検証した結果,Fluid Benchmarkingがすべてにおいて優れた性能を発揮することがわかった。
論文 参考訳（メタデータ） (2025-09-14T05:49:42Z) - Intrinsic vs. Extrinsic Evaluation of Czech Sentence Embeddings: Semantic Relevance Doesn't Help with MT Evaluation [0.0]
本稿では,チェコ語固有の文の埋め込みモデルと多言語文の埋め込みモデルを,本質的および外生的評価パラダイムを用いて比較する。
内在的評価には、複雑な文変換データセットであるCostraといくつかのセマンティックテキスト類似性(STS)ベンチマークを用いて、埋め込みが言語現象を捉える能力を評価する。
余分な評価では,マシン翻訳評価のためのCOMETベースのメトリクスを用いて,各埋め込みモデルを微調整する。
論文 参考訳（メタデータ） (2025-06-25T07:46:17Z) - HiMATE: A Hierarchical Multi-Agent Framework for Machine Translation Evaluation [39.7293877954587]
HiMATEは機械翻訳評価のための階層型マルチエージェントフレームワークである。
MQMエラー型に基づく階層型マルチエージェントシステムを構築し,サブタイプエラーの詳細な評価を可能にする。
経験的に、HiMATEは、人間によるアライメント評価の実行において、さまざまなデータセット間の競争ベースラインよりも優れています。
論文 参考訳（メタデータ） (2025-05-22T06:24:08Z) - MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。
非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。
実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
論文 参考訳（メタデータ） (2024-09-22T06:43:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。