論文の概要: Making COMET Comparable Across Scripts: Diagnosis and Correction of Tokeniser-Induced Script Bias in Indic MT Evaluation

• arxiv url: http://arxiv.org/abs/2610.08159v1
• Date: Tue, 06 Oct 2026 11:11:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.958323
• Title: Making COMET Comparable Across Scripts: Diagnosis and Correction of Tokeniser-Induced Script Bias in Indic MT Evaluation
• Title（参考訳）: COMETの比較可能なスクリプトの作成--indic MT評価におけるTokeniser誘発スクリプトバイアスの診断と補正
• Abstract要約: COMETは翻訳品質を1つの数字として報告し、その数字は異なるスクリプトで書かれたターゲット言語間で定期的に比較される。 スクリプトのアイデンティティは、ネイティブスクリプトCOMET分散の22.9%を占めており、アノテータとの合意は研究対象の5言語すべてに該当する。 我々は,正規化されたスコア,3つの診断,およびそれらが計算したトークンの同一性について,読者がどの程度のスコアが翻訳品質を反映し,どのくらいが筆記システムに反映しているかを知ることができるようにすることを推奨する。
• 参考スコア（独自算出の注目度）: 0.22034219874287467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: COMET reports translation quality as a single number, and that number is routinely compared across target languages written in different scripts. Such a comparison assumes Script Invariance: the score should not depend on the writing system that carries the target. We test it on IndicMT Eval by re-encoding the target into Latin script, which changes orthographic form while holding content and human ratings fixed. Script identity then accounts for 22.9% of native-script COMET variance, and agreement with annotators falls in all five languages studied. We trace the effect to the tokeniser and measure it with three label-free diagnostics. The bias is two faults, not one. Scores from different scripts occupy incompatible ranges, and within a single script the metric orders translations less accurately. No order-preserving transform of the score can repair the second fault. The first is removed exactly by COMET-QN, which maps the score distribution of each (language, script) pair onto a shared reference. Pooled agreement with annotators rises from 0.300 to 0.399, which is what makes scores from different scripts safe to place on one axis, and every within-language ordering is provably preserved. A regressor over parity features recovers a further 17.1% of the lost sensitivity. The remainder belongs to the encoder, and no post-processing can reach it. We therefore recommend publishing the normalised score, the three diagnostics, and the identity of the tokeniser they were computed against, so that a reader can tell how much of a score reflects translation quality and how much reflects the writing system.
• Abstract（参考訳）: COMETは翻訳品質を1つの数字として報告し、その数字は異なるスクリプトで書かれたターゲット言語間で定期的に比較される。 スコアはターゲットを運ぶ書き込みシステムに依存してはならない。 IndicMT Evalで、ターゲットをラテン文字に再エンコードしてテストし、コンテンツを保持しながら正書法を変え、人間の評価を固定する。 スクリプトのアイデンティティは、ネイティブスクリプトCOMET分散の22.9%を占め、アノテータとのアノテータとの合意は、研究対象の5言語すべてに該当する。 トークンサーにその効果をトレースし、3つのラベルのない診断で測定する。 バイアスは2つの欠点であり、1つではありません。 異なるスクリプトからのスコアは互換性のない範囲を占めており、単一のスクリプト内ではメートル法命令の翻訳は正確ではない。 スコアの順序保存変換が第2の故障を修復することはない。 COMET-QNは、各(言語、スクリプト)ペアのスコア分布を共有参照にマッピングする。 アノテーションとのPooled agreement は 0.300 から 0.399 に上昇し、異なるスクリプトからのスコアを1軸に配置する。 パリティ特性上の回帰器は、失った感度の17.1%を回復させる。 残りはエンコーダに属し、後処理では到達できない。 そこで我々は,正規化スコア,3つの診断,およびそれらが計算したトークンの同一性について,読者がどの程度のスコアが翻訳品質を反映しているか,どのくらいの文字体系を反映しているかを知ることができるようにすることを推奨する。

関連論文リスト

• FACET at WMT 2026 Automated Translation Quality Evaluation Task [12.962948381809662]
  本稿では,WMT26自動翻訳品質評価タスクの参照不要な提案であるFACETについて述べる。 評価を Fluency, Accuracy, Consistency に分解し,エラータイプに必要なコンテキストのみをパスする。 単一の固定モデルが3回トリガーされ、マージエラーは3つのタスクアウトプット、エラースパン、品質スコア、エラーフリーラベルを出力する。
  論文  参考訳（メタデータ） (2026-09-08T14:49:27Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Beyond 'One Language, One Script': Quantifying Orthographic Bias in Multilingual VLMs with PuMVR [0.15293427903448023]
  現在のVision-Language Modelsは、1つの言語が1つの書き込みシステムに対応するという欠陥のある仮定の下で動作している。 これは、Punjabi、セルビア語、ヒンディー語、ウルドゥー語、クルド語など、数十億のマルチスクリプト言語ユーザーを見落としている。 我々は,375の文化的根拠を持つ画像推論タスクを通じて,スクリプト依存バイアスを定量化する最初のベンチマークであるPuMVRを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T15:11:48Z)
• SN-WER: Script-Normalized WER for Multi-Script Indic ASR Evaluation [0.8243795440723053]
  Script-Normalized WER (SN-WER) は、トレーニングフリーで評価のみのスコアリング手法である。 SN-WERを5つのIndic言語、2つのデータセット、3つのASRモデルで評価した。
  論文  参考訳（メタデータ） (2026-06-01T17:49:10Z)
• Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German [0.34797121357690153]
  我々は、4つの言語ペアで5つの商用ASRプロバイダを評価するベンチマークを示す。 We evaluate on WER and BERTScore, showed that both metrics agree on the Ordinal ranking of systems, WER inflats the size of quality gaps。 ElevenLabs Scribe v2は最低のWER(全体の13.2%)を獲得し、BERTScore(全体の0.936)に導かれる。
  論文  参考訳（メタデータ） (2026-05-18T19:50:44Z)
• DiffScore: Text Evaluation Beyond Autoregressive Likelihood [79.18228156703695]
  DiffScoreはMasked Large Diffusion Language Models上に構築された評価フレームワークである。 DiffScoreは、連続マスキングレートでテキストの回復可能性を測定することで、位置バイアスを排除している。 10のベンチマークでの実験によると、DiffScoreはゼロショットと微調整の両方で自動回帰ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-12T06:27:36Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。