論文の概要: MathShikkha: A Controlled Study of Answer-Only and Chain-of-Thought Supervision for Bangla Mathematical Reasoning in Small Language Models
- arxiv url: http://arxiv.org/abs/2608.08503v1
- Date: Sun, 09 Aug 2026 05:50:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.844761
- Title: MathShikkha: A Controlled Study of Answer-Only and Chain-of-Thought Supervision for Bangla Mathematical Reasoning in Small Language Models
- Title（参考訳）: MathShikkha:小言語モデルにおけるバングラ数理推論のための解答オンリーと解答のチェーンスーパービジョンの制御された研究
- Abstract要約: 教師が生み出したCoT(Bangla Chain-of-Thought)の監督が,通常の微調整以上の利益をもたらすかどうかを検討した。
GPT-5.4生成論理と4B--7B学生モデルを用いたバングラ数理推論データセットを構築した。
- 参考スコア（独自算出の注目度）: 0.45835414225547183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mathematical reasoning remains challenging in low-resource languages such as Bangla. We study whether teacher-generated Bangla Chain-of-Thought (CoT) supervision provides benefits beyond ordinary supervised fine-tuning. We construct \textsc{MathShikkha}, a Bangla mathematical reasoning dataset with GPT-5.4-generated rationales, and fine-tune four 4B--7B student models under a matched protocol in which answer-only and CoT conditions share data splits, response-only loss masking, decoding, and scoring, differing only in the training target. In-domain, CoT provides no significant improvement over answer-only fine-tuning for three stronger backbones (paired bootstrap 95\% CIs include zero; exact McNemar $p \geq 0.17$), despite generating 15--52$\times$ more tokens, but significantly improves the weaker 4B model by 18.56 points ($p < 0.0001$). On the larger, contamination-audited BanglaMATH benchmark, this pattern reverses: CoT significantly outperforms answer-only supervision for all four models by 20.1--28.1 points (all $p < 0.0001$). Answer-only fine-tuning also reduces out-of-domain accuracy below the base model for three models, whereas CoT preserves or improves it for all four. A human study with two co-author annotators, external-expert adjudication, and Cohen's $κ= 0.76$--$1.00$ finds no significant CoT improvement over the base model on reasoning-content criteria; instead, its measurable effect is target-language adherence and producing inspectable reasoning. Overall, rationale supervision's value depends on backbone capability and distribution shift: in this setting, its main benefits are Bangla adherence, auditable reasoning, and out-of-domain robustness rather than improved in-domain reasoning validity.
- Abstract（参考訳）: 数学的な推論は、Banglaのような低リソース言語では依然として困難である。
教師が生み出したCoT(Bangla Chain-of-Thought)の監督が,通常の微調整以上の利益をもたらすかどうかを検討した。
GPT-5.4生成理性を持つバングラの数学的推論データセットである『textsc{MathShikkha}』と、4つの4B--7B学生モデルをマッチングプロトコルで構築し、応答専用条件とCoT条件がデータ分割、応答専用損失マスキング、復号化、スコアリングを行う。
CoTでは、15-52$\times$以上のトークンを生成するが、より弱い4Bモデルでは18.56ポイント(p < 0.0001$)で大幅に改善されている。
CoTは4つのモデルすべてに対して20.1-28.1ポイント(全て$p < 0.0001$)で回答のみの監督を著しく上回っている。
アンサーのみの微調整により、3つのモデルのベースモデル以下ではドメイン外精度が低下する一方、CoTは4つのモデルでそれを保存または改善する。
コーエンの$κ= 0.76$-$1.00$という2つの共著者のアノテータによる人間による研究は、推論・コンテンツ基準に基づくベースモデルよりも有意なCoTの改善は見つからず、その測定可能な効果は目標言語への順守と検査可能な推論を生み出すことである。
この設定では、その主な利点は、ドメイン内の推論の妥当性を改善するよりも、バングラの遵守、監査可能な推論、ドメイン外ロバスト性である。
関連論文リスト
- Reproducing and Stress-Testing Two Approaches to LLM Reasoning Reliability: Test-Time Probability Aggregation and Logic-Representation Editing [0.0]
大規模言語モデル(LLM)をより信頼性の高い推論を行うための2つの手法を独立に再現し、それらをドメインやモデル間でストレステストする。
第1のRPCは、推論時のトークン確率と自己整合性を集約する。第2のLCFは、隠れた状態を"content"と"logic"に分割するプロジェクタを訓練し、論理部分を有効な領域に向けて編集する。
論文 参考訳（メタデータ） (2026-08-09T06:22:02Z) - WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
基礎推薦モデル(FRM)のための効率的な潜在推論フレームワークであるWhisperRecを提案する。
WhisperRecは教師生成のChain-of-Thought(CoT)を学習可能な潜在推論トークンに圧縮する。
WhisperRecは明示的なCoT法と従来のベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-29T08:48:35Z) - MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models [31.136687654577475]
本稿では,コンパクトなモデルをジェネレータや批評家に特化させるポストトレーニングフレームワークであるMADA-RLを紹介する。
我々の中心的な貢献は、批評家の利点を再定義する反事実的批評家のアドバンテージであり、その報酬は発電機のアンサンブル当たりの精度を抑えるものである。
論文 参考訳（メタデータ） (2026-07-20T14:38:00Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - ChainzRule: Sample-Efficient, Robust Deep Learning Across Tabular, NLP, and Vision Tasks [0.0]
エンタープライズドメイン全体にわたるディープラーニングシステムは、学術ベンチマークが不明瞭な制約の下で運用される。
本稿では、典型的なアクティベーションを微分正規化(DREG)によって制御される学習可能な層に置き換えるニューラルネットワークChainzRule(CR)を提案する。
CRは、ピマ糖尿病で85.71% pm 2.01%$、凍結エンコーダでSST-5の感情分類で46.20% pm 0.37%$、パラメータが3.2Mの完全順序回帰で70.17%$を達成している。
論文 参考訳（メタデータ） (2026-05-23T01:52:50Z) - One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。
ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
論文 参考訳（メタデータ） (2026-04-14T17:40:01Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。
過度に考える傾向は、必然的に長い推論連鎖に繋がる。
我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
論文 参考訳（メタデータ） (2025-05-23T14:17:56Z) - LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組む
また,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。
たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2025-02-11T08:48:48Z) - Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。
翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。
このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文 参考訳（メタデータ） (2023-01-31T03:04:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。