論文の概要: MetricX-25 and GemSpanEval: Google Translate Submissions to the WMT25 Evaluation Shared Task

• arxiv url: http://arxiv.org/abs/2510.24707v1
• Date: Tue, 28 Oct 2025 17:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.332669
• Title: MetricX-25 and GemSpanEval: Google Translate Submissions to the WMT25 Evaluation Shared Task
• Title（参考訳）: MetricX-25とGemSpanEval: Googleが送信をWMT25評価共有タスクに移行
• Authors: Juraj Juraska, Tobias Domhan, Mara Finkelstein, Tetsuji Nakagawa, Geza Kovacs, Daniel Deutsch, Pidong Wang, Markus Freitag,
• Abstract要約: We present our submits to the unified WMT25 Translation Evaluation Shared Task。 The Quality Score Prediction subtask, we create a new generation of MetricX with improve in the input format and the training protocol。 Error Span Detection subtaskでは,その重大さやカテゴリとともにエラー幅を予測するために,GemSpanEvalという新しいモデルを開発した。
• 参考スコア（独自算出の注目度）: 20.03717974553634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present our submissions to the unified WMT25 Translation Evaluation Shared Task. For the Quality Score Prediction subtask, we create a new generation of MetricX with improvements in the input format and the training protocol, while for the Error Span Detection subtask we develop a new model, GemSpanEval, trained to predict error spans along with their severities and categories. Both systems are based on the state-of-the-art multilingual open-weights model Gemma 3, fine-tuned on publicly available WMT data. We demonstrate that MetricX-25, adapting Gemma 3 to an encoder-only architecture with a regression head on top, can be trained to effectively predict both MQM and ESA quality scores, and significantly outperforms its predecessor. Our decoder-only GemSpanEval model, on the other hand, we show to be competitive in error span detection with xCOMET, a strong encoder-only sequence-tagging baseline. With error span detection formulated as a generative task, we instruct the model to also output the context for each predicted error span, thus ensuring that error spans are identified unambiguously.
• Abstract（参考訳）: 本稿では,統合されたWMT25翻訳評価共有タスクについて提案する。 The Quality Score Prediction subtask, we create a new generation of MetricX with improve in the input format and the training protocol, while the Error Span Detection subtask, we developed a new model, GemSpanEval。 どちらのシステムも、最先端の多言語オープンウェイトモデル Gemma 3 に基づいており、公開されているWMTデータに基づいて微調整されている。 Gemma 3をレグレッションヘッドを持つエンコーダのみのアーキテクチャに適応させるMetricX-25は、MQMとESAの品質スコアの両方を効果的に予測する訓練が可能で、前者よりも大幅に優れています。 一方、デコーダのみのGemSpanEvalモデルは、強いエンコーダのみのシーケンスタグ付けベースラインであるxCOMETとエラースパン検出において競合することを示す。 生成タスクとして定式化されたエラースパン検出により、予測されたエラースパンのコンテキストも出力するようにモデルに指示し、エラースパンが曖昧に識別されるようにする。

関連論文リスト

• Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training [11.179110411255708]
  トレーニング予算からベンチマークパフォーマンスのスケーリングをモデル化するための直接的なフレームワークを提案する。 その結果, 直接的アプローチは従来提案していた2段階の手順よりも優れていることがわかった。 事前学習損失と下流評価結果の完全なセットを公表する。
  論文  参考訳（メタデータ） (2025-12-09T18:33:48Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
  本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。 文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。 事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
  論文  参考訳（メタデータ） (2023-05-26T00:18:33Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers [23.343006562849126]
  そこで我々はtextbfuChecker というフレームワークを提案し,教師なしのスペル検出と修正を行う。 BERTのようなマスキーク事前訓練言語モデルをバックボーンモデルとして導入する。 各種フレキシブルなMASKの操作に特化して,マスク付き言語モデルを微調整するためのコンフュージョンセット誘導マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2022-09-15T05:57:12Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。