論文の概要: Enhancing Human Evaluation in Machine Translation with Comparative Judgment

• arxiv url: http://arxiv.org/abs/2502.17797v1
• Date: Tue, 25 Feb 2025 03:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:41:07.462069
• Title: Enhancing Human Evaluation in Machine Translation with Comparative Judgment
• Title（参考訳）: 比較判断を用いた機械翻訳における人的評価の強化
• Authors: Yixiao Song, Parker Riley, Daniel Deutsch, Markus Freitag,
• Abstract要約: 本研究では,機械翻訳のための人間のアノテーションに対する比較判断の統合について検討する。 3つのアノテーション設定-ポイントワイド多次元品質メトリクス(MQM)、サイドバイサイド(SxS)MQM、および簡易バージョンSxS相対ランク(RR)を評価する。
• 参考スコア（独自算出の注目度）: 28.793446713389844
• License:
• Abstract: Human evaluation is crucial for assessing rapidly evolving language models but is influenced by annotator proficiency and task design. This study explores the integration of comparative judgment into human annotation for machine translation (MT) and evaluates three annotation setups-point-wise Multidimensional Quality Metrics (MQM), side-by-side (SxS) MQM, and its simplified version SxS relative ranking (RR). In MQM, annotators mark error spans with categories and severity levels. SxS MQM extends MQM to pairwise error annotation for two translations of the same input, while SxS RR focuses on selecting the better output without labeling errors. Key findings are: (1) the SxS settings achieve higher inter-annotator agreement than MQM; (2) SxS MQM enhances inter-translation error marking consistency compared to MQM by, on average, 38.5% for explicitly compared MT systems and 19.5% for others; (3) all annotation settings return stable system rankings, with SxS RR offering a more efficient alternative to (SxS) MQM; (4) the SxS settings highlight subtle errors overlooked in MQM without altering absolute system evaluations. To spur further research, we will release the triply annotated datasets comprising 377 ZhEn and 104 EnDe annotation examples.
• Abstract（参考訳）: 人間の評価は急速に進化する言語モデルを評価する上で重要であるが、アノテータの熟練度とタスクデザインの影響を受けている。 本研究は,機械翻訳のための人為的アノテーション(MT)に対する比較判断の統合について検討し,3つのアノテーション設定-ポイントワイド多次元品質メトリクス(MQM),サイドバイサイド(SxS)MQM,および簡易バージョンSxS相対ランク(RR)を評価する。 MQMでは、アノテータはエラーをカテゴリと重大度レベルでマークする。 SxS MQM は MQM を拡張して、同じ入力の2つの翻訳のペアワイズエラーアノテーションを提供する一方、SxS RR はエラーをラベル付けせずにより良い出力を選択することに重点を置いている。 SxS RRは、(SxS) MQMのより効率的な代替手段を提供し、(4) SxS RRは、絶対的なシステム評価を変更することなく、MQMで見過ごされた微妙なエラーをハイライトする。 さらなる研究を促進するために、377のZhEnと104のEnDeアノテーションの例からなる3つの注釈付きデータセットをリリースする。

関連論文リスト

• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation [48.080874541824436]
  Error Spanを紹介します。 ESA - DAの継続的な評価と高レベルの評価を組み合わせる人間評価プロトコル。 MQM のマーキングのエラー重大度。 ESAは、高価なMQM専門家の必要なしに、同じ品質レベルでMQMよりも高速で安価なアノテーションを提供する。
  論文  参考訳（メタデータ） (2024-06-17T14:20:47Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Multi-Dimensional Machine Translation Evaluation: Model Evaluation and Resource for Korean [7.843029855730508]
  1200文のMQM評価ベンチマークを英語と韓国語で作成する。 参照なしのセットアップはスタイルのディメンションにおいて、それよりも優れています。 全体として、RemBERTは最も有望なモデルとして現れます。
  論文  参考訳（メタデータ） (2024-03-19T12:02:38Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages [6.049660810617423]
  XLMRScoreは、XLM-RoBERTa (XLMR)モデルで計算されたBERTScoreの言語間対応である。 WMT21QE共有タスクの4つの低リソース言語対に対して提案手法を評価する。
  論文  参考訳（メタデータ） (2022-07-31T16:23:23Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。