論文の概要: IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following

• arxiv url: http://arxiv.org/abs/2605.28218v1
• Date: Wed, 27 May 2026 09:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.936332
• Title: IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following
• Title（参考訳）: IFMTBench:多言語翻訳指導のための総合ベンチマーク
• Authors: Mingrui Sun, Mao Zheng, Zheng Li, Mingyang Song,
• Abstract要約: 従来のメトリクスは意味的忠実さを捉えるが、制約の順守についての信号はほとんど提供しない。 7つの言語に従う多言語翻訳のベンチマークであるベンチを導入する。
• 参考スコア（独自算出の注目度）: 20.104094920745315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern translation workflows demand more than semantic equivalence. Users routinely require models to preserve JSON or HTML schemas, honor curated glossaries, disambiguate with provided context, and match prescribed registers, often several at once. Conventional metrics such as BLEU and xCOMET capture semantic fidelity but provide little signal on constraint adherence, while general instruction following benchmarks ignore the cross-lingual nature of translation. We introduce \bench, a benchmark for multilingual translation instruction following covering seven languages, with 4,506 single-constraint and 2,838 multi-constraint items spanning six constraint dimensions and five compositional patterns with instructions issued in all seven languages. Constraints are split into a gating subset verified by deterministic checkers and a continuous subset scored by a rubric-based LLM judge, combined under a multiplicative rule that resists reward hacking. Evaluating 15 models reveals systematic gaps that prior protocols miss: Instruction following scales with size more sharply than translation quality, glossary and structured-format constraints dominate the difficulty gradient, and general instruction following rankings correlate only weakly with translation behavior. Our benchmark are available at https://github.com/Tencent-Hunyuan/Hy-MT2/tree/main/IFMTBench.
• Abstract（参考訳）: 現代の翻訳ワークフローは意味論的等価性以上のものを必要としている。 ユーザは通常、JSONやHTMLスキーマの保存、キュレーションされた用語集の尊重、提供されたコンテキストの曖昧化、指定されたレジスタの一致など、いくつかのモデルを必要とする。 BLEUやxCOMETのような従来のメトリクスは意味的忠実さをキャプチャするが、制約順守についての信号はほとんど提供しない。 我々は7つの言語をカバーする多言語翻訳のベンチマークである \bench を紹介し,6つの制約次元にまたがる4,506個の単一制約項目と2,838個の多制約項目と,全7言語で発行される命令を含む5つの構成パターンについて紹介する。 制約は、決定論的チェッカーによって検証されたゲーティングサブセットと、ルーリックベースのLCMジャッジによってスコアされた連続サブセットに分割され、報奨ハッキングに抵抗する乗法則の下で結合される。 15のモデルを評価すると、以前のプロトコルが見逃す体系的なギャップが明らかになる: 翻訳品質よりも大きなスケールでの指示に従うこと、用語的制約と構造化形式制約が難易度を支配していること、そして、次の一般的な指示は翻訳行動と弱い相関関係にある。 ベンチマークはhttps://github.com/Tencent-Hunyuan/Hy-MT2/tree/main/IFMTBenchで公開しています。

関連論文リスト

• M3TQA: Massively Multilingual Multitask Table Question Answering [39.99483693397598]
  m3TQA-Instructは97の言語にまたがる大規模なベンチマークである。 我々は、中国語と英語で50の現実世界のテーブルをキュレートしてm3TQAを構築し、DeepSeekとGPT-4oをベースとした堅牢な6ステップの翻訳パイプラインを適用した。 このベンチマークには、微妙なテーブル推論能力を評価するために設計された4つのタスクに2,916の専門的なアノテートされた質問応答ペアが含まれている。
  論文  参考訳（メタデータ） (2025-08-22T09:57:40Z)
• XIFBench: Evaluating Large Language Models on Multilingual Instruction Following [59.549015333755186]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる優れた命令追従機能を示している。 既存の評価には、様々な言語的文脈におけるきめ細かい制約分析が欠如している。 我々は,LLMの多言語命令追従能力を評価するための総合ベンチマークであるXIFBenchを紹介する。
  論文  参考訳（メタデータ） (2025-03-10T17:07:52Z)
• MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
  我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。 MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。 我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T10:13:43Z)
• Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following [51.18383180774354]
  Multi-IFは,大規模言語モデルの習熟度を多元的および多言語的指示に従って評価するための新しいベンチマークである。 Multi-IF 上での14の最先端 LLM の評価結果から,既存のベンチマークよりもはるかに難しい課題であることが判明した。 非ラテン文字(ヒンディー語、ロシア語、中国語)を持つ言語は一般的に高いエラー率を示し、モデルの多言語能力の潜在的な制限を示唆している。
  論文  参考訳（メタデータ） (2024-10-21T00:59:47Z)
• Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models [55.35106713257871]
  DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。 DecoMTはBLOOMモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T14:52:47Z)
• MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark [31.91964553419665]
  我々はMTOPと呼ばれる新しい多言語データセットを提案し、11ドメインの6言語で100kの注釈付き発話を合成する。 既存の2つの多言語データセットに対して、Slot F1上の+6.3ポイントの平均的な改善を、実験で報告された最良の結果よりも達成する。 本稿では,事前学習モデルと自動翻訳とアライメントを組み合わせたゼロショット性能と,スロットラベル投影におけるノイズ低減のための遠隔監視手法を提案する。
  論文  参考訳（メタデータ） (2020-08-21T07:02:11Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。