論文の概要: Preliminary Ranking of WMT25 General Machine Translation Systems

• arxiv url: http://arxiv.org/abs/2508.14909v1
• Date: Mon, 11 Aug 2025 17:22:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-24 10:27:26.542161
• Title: Preliminary Ranking of WMT25 General Machine Translation Systems
• Title（参考訳）: WMT25汎用機械翻訳システムの序列化
• Authors: Tom Kocmi, Eleftherios Avramidis, Rachel Bawden, Ondřej Bojar, Konstantin Dranch, Anton Dvorkovich, Sergey Dukanov, Natalia Fedorova, Mark Fishel, Markus Freitag, Thamme Gowda, Roman Grundkiewicz, Barry Haddow, Marzena Karpinska, Philipp Koehn, Howard Lakougna, Jessica Lundin, Kenton Murray, Masaaki Nagata, Stefano Perrella, Lorenzo Proietti, Martin Popel, Maja Popović, Parker Riley, Mariya Shmatova, Steinþór Steingrímsson, Lisa Yankovskaya, Vilém Zouhar,
• Abstract要約: 本稿では,WMT25汎用機械翻訳共有タスクの事前ランキングを示す。 ランキングは自動評価に基づくが、再ランクの手法を採用するシステムに偏っている可能性がある。 公式のWMT25ランキングは人間による評価に基づいており、より信頼性が高く、自動ランキングに取って代わる。
• 参考スコア（独自算出の注目度）: 51.64851282238572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the preliminary ranking of the WMT25 General Machine Translation Shared Task, in which MT systems have been evaluated using automatic metrics. As this ranking is based on automatic evaluations, it may be biased in favor of systems that employ re-ranking techniques, such as Quality Estimation re-ranking or Minimum Bayes Risk decoding. The official WMT25 ranking will be based on human evaluation, which is more reliable and will supersede the automatic ranking. The purpose of this report is not to present the final findings of the General MT task, but rather to share preliminary results with task participants, which may be useful when preparing their system submission papers.
• Abstract（参考訳）: 本稿では,WMT25汎用機械翻訳共有タスクの事前ランキングについて述べる。 このランキングは自動評価に基づいており、品質評価の再評価や最小ベイズリスク復号といった再ランクの手法を採用するシステムに偏っている可能性がある。 公式のWMT25ランキングは人間による評価に基づいており、より信頼性が高く、自動ランキングに取って代わる。 本報告の目的は, 一般MTタスクの最終成果を提示することではなく, 課題参加者と予備結果を共有することである。

関連論文リスト

• Guardians of the Machine Translation Meta-Evaluation: Sentinel Metrics Fall In! [80.3129093617928]
  毎年、機械翻訳会議(WMT)において、メトリクス共有タスクオーガナイザは、機械翻訳(MT)メトリクスのメタ評価を行う。 この研究は、現在WMTで採用されているメタ評価フレームワークに関する2つの問題を強調し、メトリクスランキングへの影響を評価する。 本稿では,メタ評価プロセスの正確性,堅牢性,公正性を精査するために設計されたセンチネルメトリクスの概念を紹介する。
  論文  参考訳（メタデータ） (2024-08-25T13:29:34Z)
• Preliminary WMT24 Ranking of General MT Systems and LLMs [69.82909844246127]
  自動メトリクスに基づくWMT24一般MTシステムの序列である。 公式ランキングは人間による評価であり、自動ランキングよりも優れている。
  論文  参考訳（メタデータ） (2024-07-29T11:01:17Z)
• Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task [80.22825549235556]
  我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。 具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。 その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
  論文  参考訳（メタデータ） (2022-10-18T08:55:27Z)
• An Automatic Evaluation of the WMT22 General Machine Translation Task [9.442139459221785]
  総計で185のシステムで21の翻訳方向を評価している。 これは現在最先端の機械翻訳システムの限界を浮き彫りにしている。
  論文  参考訳（メタデータ） (2022-09-28T15:31:57Z)
• The JHU-Microsoft Submission for WMT21 Quality Estimation Shared Task [14.629380601429956]
  本稿では,WMT 2021の品質評価共有タスクに対するJHU-Microsoft共同提案を提案する。 我々は,目標側の単語レベルの品質評価に焦点をあて,共有タスクのタスク2(後編集作業推定)にのみ参加する。 我々は,広く採用されているOpenKiwi-XLMベースラインと比較して,システムの競争力を示す。
  論文  参考訳（メタデータ） (2021-09-17T19:13:31Z)
• Difficulty-Aware Machine Translation Evaluation [19.973201669851626]
  本稿では,新しい難易度対応機械翻訳評価指標を提案する。 ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。 提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
  論文  参考訳（メタデータ） (2021-07-30T02:45:36Z)
• Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers [21.802259336894068]
  本稿では,機械翻訳(MT)の大規模メタ評価について述べる。 われわれは2010年から2020年にかけて769件の研究論文でMT評価を行った。
  論文  参考訳（メタデータ） (2021-06-29T09:30:17Z)
• Re-evaluating Evaluation in Text Summarization [77.4601291738445]
  トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。 古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
  論文  参考訳（メタデータ） (2020-10-14T13:58:53Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。