論文の概要: TermJudge: A Document-Level Metric Judging, Not Counting, Terminology in Machine Translation Evaluation

• arxiv url: http://arxiv.org/abs/2609.35017v1
• Date: Mon, 28 Sep 2026 12:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:51:40.751344
• Title: TermJudge: A Document-Level Metric Judging, Not Counting, Terminology in Machine Translation Evaluation
• Title（参考訳）: TermJudge: 機械翻訳評価における文書レベルのメトリック判断、カウントではなく、用語
• Abstract要約: TermJudgeは、すべての項発生に対して解釈可能な検証を割り当てる文書レベルの用語メトリクスである。 システムレベルのメタ評価とセグメントレベルのメタ評価の両方で、用語の整合性と品質推定のベースラインよりも上位に位置する。
• 参考スコア（独自算出の注目度）: 12.931146734186555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing automatic metrics for evaluating terminological use in machine translation (MT) penalise any divergence from a fixed reference, conflating translation errors with the valid terminological variation that human translators routinely produce. We introduce TermJudge, a document-level terminology metric that assigns an interpretable verdict to every term occurrence: glossary-conforming occurrences are settled deterministically, while divergences are assessed under a two-step LLM-as-judge procedure using the full document context: the first detects and labels terminology errors; the second sorts valid document-level variations from inconsistencies. Validated against expert error annotations and document-level human MQM scores, TermJudge ranks first in both system- and segment-level meta-evaluation, ahead of glossary-conformity and quality-estimation baselines. When applied to eight systems translating academic documents, under two prompting conditions, we observe that glossary injection improves terminology translation in all paired comparisons, by removing genuine errors rather than valid variation. TermJudge is released as open-source code.
• Abstract（参考訳）: 機械翻訳(MT)における用語使用を評価するための既存の自動メトリクスは、固定参照からのばらつきを罰し、翻訳エラーを人間の翻訳者が日常的に生成する有効な用語変化と混同する。 用語変換発生は決定論的に解決され、発散は全文書コンテキストを用いて2段階のLCM-as-judge手順で評価される:第1は用語エラーを検出しラベル付けし、第2は不整合から有効な文書レベルのバリエーションを分類する。 専門家のエラーアノテーションと文書レベルの人間のMQMスコアに対して検証されたTermJudgeは、用語の整合性と品質推定基準よりも先に、システムレベルのメタ評価とセグメントレベルのメタ評価の両方で第1位である。 学術文書を翻訳する8つのシステムに適用した場合、2つのプロンプト条件下では、用語の注入は、有効な変分ではなく真偽の誤りを除去することにより、全ての比較において用語の翻訳を改善することが観察される。 TermJudgeはオープンソースコードとしてリリースされている。

関連論文リスト

• Improving Term Evaluation in Machine Translation: Variation Matters [24.40489784450469]
  機械翻訳(MT)は通常、ソース項ごとに単一の正しいターゲット形式を仮定する。 人間の翻訳者は、現在のメトリクスが矛盾として罰する変化を定期的に導入する。 英仏科学翻訳の文書レベルのMT評価において,この変化をいかに説明するかを検討する。
  論文  参考訳（メタデータ） (2026-09-08T14:12:22Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• Unsupervised Language agnostic WER Standardization [4.768240090076601]
  本稿では,スペル正規化とセグメント正規化という2つのモジュールからなる自動WER正規化システムを提案する。 4つの言語にわたる35K発話に対するASRによる実験の結果、平均的なWERの減少率は13.28%となった。
  論文  参考訳（メタデータ） (2023-03-09T05:50:54Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Document-Level Definition Detection in Scholarly Documents: Existing Models, Error Analyses, and Future Directions [40.64025648548128]
  我々は,構文的特徴,トランスフォーマーエンコーダ,フィルタを利用した新たな定義検出システムHEDDExを開発し,標準文レベルのベンチマークで評価する。 HEDDEx は文レベルと文書レベルの両方のタスクにおいて、それぞれ 12.7 F1 点と 14.4 F1 点を上回っている。
  論文  参考訳（メタデータ） (2020-10-11T01:16:10Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。