論文の概要: Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation

• arxiv url: http://arxiv.org/abs/2603.12983v2
• Date: Mon, 16 Mar 2026 10:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:57.779722
• Title: Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation
• Title（参考訳）: 人間のアノテーションは必要か?機械翻訳におけるエラースパン検出のための反復的MBR蒸留法
• Authors: Boxuan Lyu, Haiyue Song, Zhi Qu,
• Abstract要約: Error Span Detectionは、機械翻訳(MT)評価において重要なサブタスクである。 最小ベイズリスク(MBR)デコードに基づく新たな自己進化フレームワークを提案する。 既製のLLMを活用して擬似ラベルを生成することで、人間のアノテーションへの依存をなくす。
• 参考スコア（独自算出の注目度）: 4.3983707233782745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Error Span Detection (ESD) is a crucial subtask in Machine Translation (MT) evaluation, aiming to identify the location and severity of translation errors. While fine-tuning models on human-annotated data improves ESD performance, acquiring such data is expensive and prone to inconsistencies among annotators. To address this, we propose a novel self-evolution framework based on Minimum Bayes Risk (MBR) decoding, named Iterative MBR Distillation for ESD, which eliminates the reliance on human annotations by leveraging an off-the-shelf LLM to generate pseudo-labels. Extensive experiments on the WMT Metrics Shared Task datasets demonstrate that models trained solely on these self-generated pseudo-labels outperform both unadapted base model and supervised baselines trained on human annotations at the system and span levels, while maintaining competitive sentence-level performance.
• Abstract（参考訳）: Error Span Detection (ESD)は、機械翻訳(MT)評価において重要なサブタスクであり、翻訳エラーの位置と重症度を特定することを目的としている。 人間の注釈付きデータの微調整モデルではESDのパフォーマンスが向上するが、そのようなデータを取得するのは高価であり、アノテータ間の矛盾が生じやすい。 そこで本研究では,最小ベイズリスク(MBR)デコードに基づく新たな自己進化フレームワークであるIterative MBR Distillation for ESDを提案する。 WMT Metrics Shared Taskデータセットの大規模な実験では、これらの自己生成された擬似ラベルのみに基づいてトレーニングされたモデルは、システムやレベルの人間のアノテーションに基づいてトレーニングされた教師なしベースラインよりも優れ、競争力のある文レベルのパフォーマンスを維持している。

関連論文リスト

• Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation [50.83502171176548]
  Maximum a Posteriori (MAP) を用いた最新造形ESD法 生成ESDモデルに最小ベイズリスク(MBR)デコードを適用することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-12-08T13:21:44Z)
• Multi-Agent VLMs Guided Self-Training with PNU Loss for Low-Resource Offensive Content Detection [32.68131638705225]
  協調的な擬似ラベリングにより、豊富な未ラベルデータを活用する自己学習フレームワークを提案する。 提案手法は,マルチエージェント・ビジョン・ランゲージ・モデルのサポートにより,未ラベルのインスタンスに擬似ラベルを反復的に割り当てる。 ベンチマークデータセットの実験は、我々のフレームワークが限られた監督下でベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-11-14T08:03:35Z)
• Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation [55.73341401764367]
  合成QEデータの分散シフトを緩和する新しいフレームワークであるDCSQEを紹介する。 DCSQEは、参照、すなわち翻訳監督信号を使用して、生成プロセスとアノテーションプロセスの両方をガイドする。 実験により、DCSQEは教師なし設定と教師なし設定の両方でSOTAベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-02-27T10:11:53Z)
• RDBE: Reasoning Distillation-Based Evaluation Enhances Automatic Essay Scoring [0.0]
  Reasoning Distillation-Based Evaluation (RDBE) は、解釈可能性を統合し、モデルスコアの背景にある理論的根拠を解明する。 実験により, データセットに考慮したすべてのスコアリングルーリックに対してRDBEの有効性が示された。
  論文  参考訳（メタデータ） (2024-07-03T05:49:01Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Unsupervised Domain Adaptive Salient Object Detection Through Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
  そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。 提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-26T16:03:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。