論文の概要: IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages

• arxiv url: http://arxiv.org/abs/2608.16344v1
• Date: Mon, 17 Aug 2026 09:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.626976
• Title: IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages
• Title（参考訳）: IndicQE-APE: インデックス言語の品質評価と自動後編集のためのベンチマーク
• Abstract要約: 我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
• 参考スコア（独自算出の注目度）: 77.88427845181154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indic quality estimation (QE) and automatic post-editing (APE) data is spread across separate releases, so no single resource supports training and evaluation across tasks and language pairs on one footing. We consolidate the WMT 2020--2024 shared-task lineage with an extended English--Malayalam resource into \indicqe: $126{,}754$ instances over nine directional pairs, with up to four label types aligned on the same segment, a direct assessment, a human post-edit, word-level OK/BAD tags and an error explanation, and a test set stratified over four difficulty axes. On it, we benchmark six prompted LLMs and three COMET metrics on segment-level QE, and three systems on APE. Two of the axes are defined partly on the direct assessment and select a compressed slice of it, so each axis is compared against a control drawn from the same language pair with the same score distribution. Only one survives that control: segments whose holistic and token-level quality signals conflict are ranked worse than equally-scored segments of the same language, for all nine systems and all seven pairs that carry the axis. Annotator disagreement, which looks second-hardest without the control, has no effect with it. Few-shot prompting costs every model $\leq$ $3.4$B both correlation and output-format compliance. Within-language accuracy does not make scores comparable across pairs: of the three trained metrics, the one with the best within-language correlation loses most when the pairs are pooled. The benchmark and code will be released.
• Abstract（参考訳）: インデックス品質推定(QE)と自動後編集(APE)データは別々のリリースに分散しているため、ひとつのリソースがタスクと言語ペア間のトレーニングと評価をサポートすることはない。 我々はWMT 2020-2024の共用タスク系統を、英語-マラヤラムリソースを拡大したインディクシーに集約する: 1,26{,}754$インスタンス 最大4つのラベルタイプが同じセグメントに配列され、ダイレクトアセスメント、人間の後編集、単語レベルのOK/BADタグ、エラー説明、および4つの難易度軸に階層化されたテストセット。 そこで本研究では, セグメントレベルのQEにおいて, LLMを6つ, COMETを3つ, APEでは3つのシステムをベンチマークした。 2つの軸は、部分的に直接評価に基づいて定義され、圧縮されたスライスを選択するので、各軸は、同じスコア分布を持つ同一言語対から引き出された制御と比較される。 全体的およびトークンレベルの品質信号が衝突するセグメントは、同じ言語の均等に装飾されたセグメントよりも格段に劣る。 アノテーションの不一致は、制御なしでは最強のように見えるが、それには影響しない。 ほとんどショットプロンプトはすべてのモデルに$\leq$$3.4$Bの相関と出力フォーマットのコンプライアンスを犠牲にしている。 3つのトレーニングされたメトリクスのうち、最高の言語内相関を持つものは、ペアがプールされたときにほとんど失われます。 ベンチマークとコードがリリースされる。

関連論文リスト

• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German [0.34797121357690153]
  我々は、4つの言語ペアで5つの商用ASRプロバイダを評価するベンチマークを示す。 We evaluate on WER and BERTScore, showed that both metrics agree on the Ordinal ranking of systems, WER inflats the size of quality gaps。 ElevenLabs Scribe v2は最低のWER(全体の13.2%)を獲得し、BERTScore(全体の0.936)に導かれる。
  論文  参考訳（メタデータ） (2026-05-18T19:50:44Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them? [3.809788214307542]
  多言語転送ボトルネックと言語一貫性ボトルネックという,2つの重要な障害モードを特定し,特徴付ける。 我々はロジットレンズ解析を拡張し、言語確率層を層単位で追跡し、隠れ状態の言語間セマンティックな類似性を計算する。 これは、効率的な多言語適応のために言語制御の層局所化を利用する最初のアプローチである。
  論文  参考訳（メタデータ） (2026-01-27T19:38:12Z)
• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• Unsupervised Language agnostic WER Standardization [4.768240090076601]
  本稿では,スペル正規化とセグメント正規化という2つのモジュールからなる自動WER正規化システムを提案する。 4つの言語にわたる35K発話に対するASRによる実験の結果、平均的なWERの減少率は13.28%となった。
  論文  参考訳（メタデータ） (2023-03-09T05:50:54Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages [6.049660810617423]
  XLMRScoreは、XLM-RoBERTa (XLMR)モデルで計算されたBERTScoreの言語間対応である。 WMT21QE共有タスクの4つの低リソース言語対に対して提案手法を評価する。
  論文  参考訳（メタデータ） (2022-07-31T16:23:23Z)
• Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers [59.345145623931636]
  我々は、インスタンスレベルの選択(ILPS)という、新しい言語間移動パラダイムを論じる。 本稿では,デレキシライズドトランスファーの枠組みにおけるインスタンスレベルの選択に着目した概念実証研究を提案する。
  論文  参考訳（メタデータ） (2020-04-16T13:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。