論文の概要: PluraMath: Extending Mathematical Reasoning Evaluation Beyond High-Resource Languages

• arxiv url: http://arxiv.org/abs/2607.05992v1
• Date: Tue, 07 Jul 2026 08:25:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.454276
• Title: PluraMath: Extending Mathematical Reasoning Evaluation Beyond High-Resource Languages
• Title（参考訳）: PluraMath: オープンソース言語を越えた数学的推論評価の拡張
• Abstract要約: PluraMathは、PolyMathを6つの言語ファミリーにまたがる18の非表現言語に拡張したものである。 大規模言語モデル(LLM)を4つのモデルスケールで27の推論をベンチマークする。 解析の結果,高資源言語と低表現言語の間で数学的推論性能が持続的に低下していることが確認された。
• 参考スコア（独自算出の注目度）: 40.80673561512526
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Mathematical reasoning has become a central task for evaluating and tuning reasoning Large Language Models (LLMs), yet existing benchmarks remain heavily biased toward high-resource languages, with English and Chinese dominating both pre-training corpora and evaluation suites. The recently released PolyMath (Wang et al., 2025) dataset represents a significant step forward, yet its coverage is still limited to 18 only high-resource languages. To address this gap, we introduce PluraMath, an extension of PolyMath to 18 additional {underrepresented languages spanning 6 language families -- ranging from mid-resource to extreme low-resource settings. We constructed the dataset through a human-curated pipeline, where native speakers thoroughly validated pre-computed translations. Using PluraMath, we then benchmark 27 reasoning LLMs across four model scales -- small, mid-size, large, and closed-source ensembles -- probing the multilingual mathematical reasoning capabilities of state-of-the-art models under diverse linguistic conditions. Our fine-grained analysis confirms a persistent gap in mathematical reasoning performance between high-resource and underrepresented languages, with stronger results largely associated with better instruction-following ability. We fully open-source our dataset, data acquisition pipeline, and evaluation framework, with the goal of lowering the barrier to multilingual benchmark development for underrepresented communities.
• Abstract（参考訳）: 数学的推論は、Large Language Models (LLMs) の評価とチューニングにおいて中心的な課題となっているが、既存のベンチマークは、学習前のコーパスと評価スイートの両方で英語と中国語が支配する高リソース言語に大きく偏っている。 最近リリースされたPolyMath(Wang et al , 2025)データセットは、大きな進歩を示している。 このギャップに対処するため、PolyMathを拡張したPluraMathを紹介します。 そこでは、母国語話者が事前に計算された翻訳を徹底的に検証した。 PluraMathを使って、4つのモデルスケール – 小型、中規模、大型、クローズドソースのアンサンブル – にわたる27の推論 LLM をベンチマークし、さまざまな言語条件下での最先端モデルの多言語数学的推論能力を検証します。 我々の微粒化解析は、高リソース言語と低表現言語の間の数学的推論性能の持続的なギャップを証明し、より強力な結果が命令追従能力の向上に大きく関連している。 私たちはデータセット、データ取得パイプライン、評価フレームワークをオープンソースとして公開しています。

関連論文リスト

• MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
  We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。 イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。 この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
  論文  参考訳（メタデータ） (2026-08-06T10:24:08Z)
• Crosslingual On-Policy Self-Distillation for Multilingual Reasoning [48.68444770923683]
  Crosslingual On-Policy Self-Distillation (COPSD)は、モデル自身の高リソース推論動作を低リソース言語に転送する。 17の低リソースアフリカ言語に対する実験では、COPSDはモデルサイズ全体の低リソース数学的推論を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-10T14:06:09Z)
• MathMist: A Parallel Multilingual Benchmark Dataset for Mathematical Problem Solving and Reasoning [6.8892368960722346]
  数学的問題解決と推論のための並列多言語ベンチマークであるMathMistを紹介する。 MathMistには、7つの言語にまたがる21万以上の質問回答ペアが含まれている。 我々は,オープンソースの中小LCM,プロプライエタリシステム,多言語推論型モデルなど,多様なモデル群を体系的に評価する。
  論文  参考訳（メタデータ） (2025-10-16T04:59:52Z)
• Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters [53.59868121093848]
  7Bパラメータサイズを持つオープンソースの言語モデル(LLM)のファミリーであるSeed-Xを紹介する。 ベースモデルは、28言語にわたるモノリンガルコンテンツとバイリンガルコンテンツの両方を含む、多種多様な高品質データセットで事前訓練されている。 その後、インストラクションモデルは、Chain-of-Thought(CoT)推論によって翻訳され、強化学習(RL)によりさらに強化され、多様な言語対をまたいだより良い一般化が達成される。
  論文  参考訳（メタデータ） (2025-07-18T03:19:43Z)
• Scaling Test-time Compute for Low-resource Languages: Multilingual Reasoning in LLMs [3.9530780161144667]
  本稿では,大規模言語モデルが潜在空間で内部的に操作する多言語メカニズムについて検討する。 我々は、低リソース言語での入力を条件に、ターゲット言語で最終応答を出力しながら、英語でチェーン・オブ・ソート(CoT)を生成するモデルを訓練する。 我々の実験では、この手法は英語によるCoTトレーニングと呼ばれ、28.33%の改善で他のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-04-02T16:58:36Z)
• LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning [28.288949710191158]
  大規模言語モデル(LLM)は、多言語事前学習コーパスと命令微調整データによって駆動される、印象的な多言語推論能力を示す。 事前学習コーパスにおける言語不均衡に起因する高リソース言語推論タスクと低リソース言語推論タスクの間には,パフォーマンスギャップが存在する。 LinguaLIFTは低リソース言語推論を進めるための2段階の命令チューニングフレームワークである。
  論文  参考訳（メタデータ） (2024-12-17T03:03:17Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• DN at SemEval-2023 Task 12: Low-Resource Language Text Classification via Multilingual Pretrained Language Model Fine-tuning [0.0]
  感情分析のための既存のモデルやデータセットは、英語や中国語などの高リソース言語向けに開発されている。 AfriSenti-SemEval 2023 Shared Task 12は、低リソースのアフリカの言語に対する感情分析モデルを評価することで、このギャップを埋めることを目的としている。 そこで我々は,多言語XLM-Rモデルを多言語モデルに適用し,様々なデータに基づいて分類ヘッドを訓練した。
  論文  参考訳（メタデータ） (2023-05-04T07:28:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。