論文の概要: M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models
- arxiv url: http://arxiv.org/abs/2608.03803v1
- Date: Tue, 04 Aug 2026 15:16:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.265009
- Title: M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models
- Title（参考訳）: M-GATE:多言語文法、翻訳精度、大規模言語モデルの効率ベンチマーク
- Abstract要約: M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。
80以上の構成で50以上のモデルを評価しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual language models are deployed across a hundred or more languages, yet most benchmarks test whether a model can perform a task _in_ a language rather than whether it commands the language itself, conflating fluency with proficiency. We introduce M-GATE (Multilingual Grammar, Accuracy in Translation, and Efficiency), a benchmark of linguistic proficiency spanning 30 typologically diverse languages from high- to low-resource. M-GATE comprises three tasks: grammatical error detection on linguist-crafted, adversarially selected sentences that turn on hard, language-specific phenomena; round-trip translation of shared English sources across 29 target languages, scored by a three-provider LLM judge panel validated against professional annotators; and a supplementary tokenizer-efficiency measure. We evaluate over 50 models in more than 80 configurations. Fluency and proficiency come apart sharply: models that translate competently sit near chance on the adversarial grammar items, the best reaching a Matthews correlation coefficient (MCC) of only 0.36, and their errors lean systematically toward under-flagging, accepting ungrammatical text rather than raising false alarms. Translation quality closely tracks a language's share of pretraining data (r = 0.86 against log Common Crawl share), producing a steep low-resource penalty that is nonetheless narrowing with successive model releases. Enabling reasoning reliably improves translation, while its effect on error detection is smaller and for some models negative, so the best configuration is task-dependent. To resist contamination, test items are kept private behind a continuously updated public leaderboard, with illustrative examples released (https://m-gate.ai).
- Abstract（参考訳）: マルチ言語言語モデルは100以上の言語にまたがってデプロイされるが、ほとんどのベンチマークでは、モデルが言語自体を命令するかどうかよりも、タスク_in_a言語を実行できるかどうかをテストしている。
M-GATE (Multilingual Grammar, Accuracy in Translation, and efficiency) は,30言語にまたがる言語能力のベンチマークである。
M-GATEは、3つのタスクから構成される: 文法的誤り検出 言語工学的、逆選択された文で、ハードで言語固有の現象を発生させる; 29の言語にまたがる共用英語ソースのラウンドトリップ翻訳 プロのアノテータに対して検証された3つのLLM審査パネルによってスコア付けされる。
80以上の構成で50以上のモデルを評価しました。
効率と習熟度は急激に崩壊する: 正反対の文法項目に有能な翻訳を行うモデル、わずか0.36のマシューズ相関係数(MCC)に最も近い確率で到達するモデル、そしてそれらのエラーは、偽のアラームを発生させるのではなく、体系的にアンダーフラッグ(英語版)に傾き、非文法的なテキストを受け入れる。
翻訳品質は、事前トレーニングデータの共有(ログのCommon Crawl共有に対してr = 0.86)を厳格に追跡し、急激な低リソースペナルティを生み出すが、それでも連続したモデルリリースで狭まる。
推論が確実に翻訳を改善する一方で、エラー検出に対する効果は小さく、一部のモデルでは負であるため、最高の構成はタスク依存である。
汚染を抑えるため、テスト項目は継続的に更新された公開リーダボードの後ろでプライベートに保管され、イラストレーション例がリリースされた(https://m-gate.ai)。
関連論文リスト
- Choosing the Right Language Mode at Inference Time for Multilingual Reliability [3.6095388702618405]
大規模な言語モデルは、低級から中級の言語では推論に苦慮することが多い。
以前の研究によると、翻訳は、より強い英語中心の表現へのアクセスを支援することで、多言語推論を改善することができる。
これは、多言語の大言語モデルが確実に推論するためにどのくらいの翻訳が必要かという、中心的な疑問を提起する。
論文 参考訳（メタデータ） (2026-09-04T02:36:26Z) - Evaluating Multilingual Sentence Embeddings for Translation Error Detection:An English--Greek Contrastive Study [0.0]
本研究は,多言語埋め込みモデルが正しい英語-ギリシャ語翻訳を区別できるかどうかを考察する。
10コアに1,850のサンプルと5つの探索エラーカテゴリが含まれている。
埋め込みモデルは、テンソル・アンド・アスペクトや代名詞・基準誤差よりも明確な事実・語彙的変化を確実に検出した。
論文 参考訳（メタデータ） (2026-08-28T18:32:54Z) - Lower-Resource, Higher Scores: Language Bias in LLM Evaluators [27.959960538188753]
意味論的に同一の命令応答対を23言語で実験する。
その結果、多言語評価器は異なる評価言語に大きく異なるスコアを割り当てていることがわかった。
論文 参考訳（メタデータ） (2026-07-16T01:53:09Z) - Reasoning over Grammar: Can Synthetic Linguistic Reasoning Traces Enhance Low-Resource Machine Translation? [49.7935995447581]
我々は,低リソース機械翻訳が言語解析と文法推論の中間段階の構造化の恩恵を受けるか検討する。
本稿では,Universal Dependencies Treebank,Dictionary,Gram-rule Bankから,ステップバイステップの言語推論トレースを自動的に生成するパイプラインを提案する。
その結果,言語的推論の痕跡は推論時ガイダンスとして最も有効であることが示唆された。
論文 参考訳（メタデータ） (2026-06-02T15:36:12Z) - Making Large Language Models Speak Tulu: Structured Prompting for an Extremely Low-Resource Language [1.0742675209112622]
制御プロンプト下では,構造化プロンプトだけで基本的な会話能力を引き出すことができるかを検討する。
我々は、明示的な文法文書、関連する言語からの高確率トークンの抑制のための負の制約、ロマン化標準化、そして自己再生による品質制御された合成データ生成を組み合わせる。
本手法は,85%の精度で語彙汚染を80%から5%に低減する。
論文 参考訳（メタデータ） (2026-02-17T06:20:09Z) - Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。
対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。
言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
論文 参考訳（メタデータ） (2026-01-01T08:53:49Z) - Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors [45.37878669586302]
大規模言語モデル(LLM)は、ユーザ入力を持つマルチリンガルな実世界のアプリケーションにますます多くデプロイされている。
ほとんどのベンチマークはクリーンな入力を前提としており、LLMの堅牢性は、ほとんど探索されていないタイプミスに委ねられている。
MulTypoは,言語固有のキーボードレイアウトとタイピング行動に基づいて,ヒューマンライクなエラーをシミュレートする多言語型タイポ生成アルゴリズムである。
論文 参考訳（メタデータ） (2025-10-10T16:49:12Z) - Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings [1.1556013985948772]
インドネシアの低リソース言語への事前学習言語モデルの転送性を評価する。
私たちはターゲット言語を、見る、見る、見る、見る、見えない3つのカテゴリに分類します。
マルチ言語モデルは、目に見える言語で、部分的に見られる言語では適度に、目に見えない言語では劣る。
対象言語にラベル付きデータを必要としないため,MAD-Xは性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2025-07-02T12:17:55Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳（メタデータ） (2024-06-28T17:03:51Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳（メタデータ） (2023-10-31T08:09:20Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳（メタデータ） (2021-09-09T03:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。