論文の概要: GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2607.13248v1
• Date: Tue, 14 Jul 2026 20:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.581717
• Title: GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models
• Title（参考訳）: GSM-Plus-BN:大言語モデルにおけるバングラ数学推論のための摂動に基づくベンチマーク
• Abstract要約: 大規模言語モデル(LLM)における数学的推論の評価は、主に英語のような高リソース言語に焦点を当てている。 本研究は,ベンガルの新たな摂動型数学的データセットであるGSM-Plus-BNを紹介する。 我々は、9000個の評価サンプルのベンチマークを用いて、6つのオープンソースのLCM Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B, GPT-OSS-20Bを評価した。
• 参考スコア（独自算出の注目度）: 0.06157382820537719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evaluation of mathematical reasoning in large language models (LLMs) has predominantly focused on high-resource languages like English. This has created a significant barrier to the equitable development and deployment of AI in linguistically diverse regions such as Bangladesh, where over 230 million people speak Bengali. Despite this global significance, there has been minimal prior work on mathematical reasoning in Bengali and no existing research that systematically benchmarks a perturbated Bengali mathematical dataset, leaving a critical void in assessing model robustness and true comprehension beyond pattern recognition. This study addresses this gap by introducing GSM-Plus-BN, a novel perturbated Bengali mathematical dataset derived from the English GSM-Plus benchmark and verified by human translators. We evaluate six open-source LLMs Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B, and GPT-OSS-20B using a benchmark of 9,000 evaluation samples comprising 1,000 seed questions and 8,000 perturbed variants under both Standard Prompting and Chain-of-Thought (CoT) Prompting. Experimental results show that GPT-OSS-20B achieves the highest seed question accuracy of 96.08% under Standard Prompting, while larger models such as Llama-3.3-70B and GPT-OSS-120B demonstrate superior robustness across perturbation types. Furthermore, CoT prompting substantially improves reasoning for most models compared to Standard Prompting, yet a notable performance gap persists across all models relative to their English benchmarks, underscoring the inherent difficulty of perturbed Bengali text. This research makes a foundational contribution by providing GSM-PLUS-BN as a new resource and baseline for future Bengali mathematical reasoning research.
• Abstract（参考訳）: 大規模言語モデル(LLM)における数学的推論の評価は、主に英語のような高リソース言語に焦点を当てている。 これにより、バングラデシュなど2億3000万人以上がベンガル語を話す言語的に多様な地域で、AIの公平な開発と展開に大きな障壁が生まれている。 このグローバルな重要性にもかかわらず、ベンガルでは数学的推論に関する最小限の研究が行われており、ベンガルの数学的データセットを体系的にベンチマークする既存の研究は存在せず、モデルの堅牢性とパターン認識以上の真の理解を評価する上で重要な空白を残している。 GSM-Plus-BNは、英語のGSM-Plusベンチマークから得られた、人間の翻訳者によって検証された新しい摂動型ベンガル数学データセットである。 我々は,1,000の種質問と8000の摂動変種からなる9000個の評価サンプルのベンチマークを用いて,オープンソースLLMのQwen3-32B,Llama-3.1-8B-Instant,Llama-3.3-70B-Versatile,Llama-4-Scout-17B-16E-Instruct,GPT-OSS-120B,G PT-OSS-20Bの評価を行った。 実験結果から, GPT-OSS-20Bは96.08%の精度で, Llama-3.3-70B や GPT-OSS-120B などの大型モデルでは摂動型に対して高い堅牢性を示した。 さらに、CoTのプロンプトはスタンダード・プロンプティングに比べてほとんどのモデルに対する推論を大幅に改善するが、イングランドのベンチマークと比較して全てのモデルで顕著な性能差が持続し、ベンガル文字の摂動の難しさを暗示している。 本研究は,GSM-PLUS-BNを今後のベンガル数学推論研究の新たな資源および基盤として提供することにより,基礎的な貢献を行う。

関連論文リスト

• Bengali Text Classification: An Evaluation of Large Language Model Approaches [0.0]
  英語とは異なり、Bengaliは広範な注釈付きデータセットと事前訓練された言語モデルがないため、課題に直面している。 本研究では,ベンガル語新聞記事の分類における大規模言語モデル(LLM)の有効性について検討する。
  論文  参考訳（メタデータ） (2026-01-17T18:25:19Z)
• GanitLLM: Difficulty-Aware Bengali Mathematical Reasoning through Curriculum-GRPO [0.0]
  本稿では,GanitLLMと呼ばれるベンガルの数学的推論モデルを提案する。 また,難易度の高いベンガル数学コーパスとカリキュラムベースのGRPOパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-01-11T03:49:18Z)
• Structured Reasoning with Tree-of-Thoughts for Bengali Math Word Problems [0.0]
  CoT(Chain-of-Thought)のプロンプトは有望であるが、線形構造はしばしばエラーを伝播する。 本稿では,SOMADHANデータセットを用いたベンガルMWPのツリー・オブ・ソート(ToT)推論の系統的研究について述べる。
  論文  参考訳（メタデータ） (2025-12-05T10:07:08Z)
• Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection [0.0]
  本稿では,LoRAとQLoRAを用いたベンガルヘイトスピーチ検出におけるPEFT(Efficient Fine-Tuning)の最初の応用について述べる。 BD-SHSデータセットには50,281の注釈付きコメントが記載されている。 Llama-3.2-3Bは92.23%、Mistral-7Bは88.94%、Gemma-3-4Bは80.25%だった。
  論文  参考訳（メタデータ） (2025-10-19T20:03:22Z)
• Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning [0.0]
  ベンガル数学語問題(MWP)の解法は、自然言語処理(NLP)において依然として大きな課題である。 これまで、人間に注釈を付けたBengaliデータセットは、このタスクに対処していない。 8792個のベンガルMWPのデータセットであるSOMADHANを開発した。
  論文  参考訳（メタデータ） (2025-05-27T15:47:10Z)
• Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
  トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。 提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
  論文  参考訳（メタデータ） (2025-05-25T23:06:20Z)
• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
  DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。 最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-06T03:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。