論文の概要: Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged

• arxiv url: http://arxiv.org/abs/2610.10918v1
• Date: Wed, 07 Oct 2026 21:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.675574
• Title: Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
• Title（参考訳）: 機械翻訳品質アノテーションのための大規模言語モデル:人間とモデルの両方が課題
• Abstract要約: 大規模言語モデル(LLM)は,機械翻訳(MT)評価において,人間の判断よりも効率的で費用対効果が高いと考えられる。 多次元品質指標(MQM)とエラースパンESA(ESA)の2つの卓越したMT品質評価スキームにおけるLCMの性能評価を行った。 これらの結果から,LLM と人間のアノテータとの合意は,アノテータ間のアノテータ間のアノテータ間のアノテータ間のアノテータ間のアノテータのアノテータのアノテータのアノテータのアノテータとのアノテータのアノテータのアノテータ間のアノテータのアノテータのアノテータ間のアノテータのアノテータのアノテータのアノテータのアノテータのアノテータのアノテータのアノテータ間のアのアノテータ間のアのアノテータ
• 参考スコア（独自算出の注目度）: 4.979105783647442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are considered to be a more efficient and cost-effective alternative to human judgment for Machine Translation (MT) evaluation. With MT evaluation spanning a large number of language pairs, domains and levels of annotation granularity, LLMs must be thoroughly evaluated across these dimensions before being reliably used as alternatives to human evaluation. In this paper, we evaluate the performance of LLMs for two prominent MT quality evaluation schemes: Multidimensional Quality Metrics (MQM) and Error Span Annotation (ESA) by comparing their agreement with human annotators. We present results on a long-context test set of 70 language pairs and the publicly available WMT23 and WMT25 data, investigating both score and error span annotation agreement across a variety of language pairs and domains. Our results show that while LLM agreement with human annotators exceeds agreement between human annotators for some evaluation tasks, both vary substantially across annotation schemes, language pairs and domains and remain unreliable for most settings. Furthermore, we identify challenges facing both human and LLM annotators: humans are particularly challenged by fine-grained MQM annotations and low-resource language pairs, while LLMs struggle with minor errors, wrong language variants and error span annotation. Our results highlight the potential for improvement for both human and LLM annotation performance, possibly through human-LLM collaborative annotation pipelines that address the reliability issues identified in this work.
• Abstract（参考訳）: 大規模言語モデル(LLM)は,機械翻訳(MT)評価において,人間の判断よりも効率的で費用対効果が高いと考えられる。 MTの評価は多数の言語対、ドメイン、アノテーションの粒度のレベルにまたがって行われるため、LLMは人間の評価に代わるものとして確実に使用される前に、これらの次元にわたって徹底的に評価されなければならない。 本稿では,マルチ次元品質指標(MQM)とエラースパンアノテーション(ESA)の2つのMT品質評価スキームにおけるLCMの性能を評価する。 我々は,70の言語対とWMT23およびWMT25データからなる長期コンテキストテストセットについて,様々な言語対とドメインのスコアスパンアノテーション合意とエラースパンアノテーションの双方について検討した。 これらの結果から,LLM と人間のアノテータとの合意は,アノテータ間のアノテータ間のアノテータ間のアノテータ間のアノテータ間のアノテータのアノテータのアノテータのアノテータのアノテータとのアノテータのアノテータのアノテータ間のアノテータのアノテータのアノテータのアノテータのアノテータのアノテータのアノテータのアノテータのアノテータ間のアのアノテータのアノテータのアのアノテータのアのアノテータのアのアノテータのアのアノテータのアとのアノ さらに、人間とLLMアノテータの両方が直面する課題を特定する:人間は特に細かいMQMアノテーションと低リソースの言語ペアに悩まされる一方、LLMは小さなエラー、間違った言語変異、エラースパンアノテーションに悩まされている。 この結果から,人間とLLMのアノテーション性能の改善の可能性,あるいは本研究で確認された信頼性問題に対処するHuman-LLM協調アノテーションパイプラインによる可能性が示唆された。

関連論文リスト

• LLMs for automatic annotation of Mandarin narrative transcripts [5.563209220962405]
  転写音声の言語アノテーションは、言語習得、言語障害、社会言語学の研究に不可欠である。 本研究では,Large Language Models (LLMs) がマンダリン音声における物語のマクロ構造を確実に注釈できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-05-17T00:37:25Z)
• Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data [2.812898346527047]
  本研究では,ロシア語とウクライナ語におけるソーシャルメディア投稿のゼロショットおよび少数ショットアノテーションに対する大規模言語モデル(LLM)の機能について検討した。 これらのモデルの有効性を評価するため、それらのアノテーションは、人間の二重注釈付きラベルのゴールドスタンダードセットと比較される。 この研究は、各モデルが示すエラーと不一致のユニークなパターンを探求し、その強み、制限、言語間適応性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T13:10:47Z)
• Is LLM an Overconfident Judge? Unveiling the Capabilities of LLMs in Detecting Offensive Language with Annotation Disagreement [22.992484902761994]
  本研究では,攻撃言語検出における多言語モデル(LLM)の性能を系統的に評価する。 本研究では,二項分類の精度を分析し,モデル信頼度と人的不一致度の関係を検証し,不一致サンプルがモデル決定にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2025-02-10T07:14:26Z)
• Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition [38.822535662755314]
  大規模言語モデル(LLM)のためのサンプル効率のよい人的評価手法を提案する。 提案手法は,LLM応答のペア間のセマンティックな差異を最大化する,コンパクトな入力命令セットを自動的に適応的に選択する。 人間の評価者は、これらのペア化された反応に対して3つの代替的な選択を行い、エロ評価を用いてグローバルなランキングに集約される。
  論文  参考訳（メタデータ） (2024-04-10T01:26:24Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。