論文の概要: Arithmetic Pedagogy for Language Models

• arxiv url: http://arxiv.org/abs/2606.05106v1
• Date: Wed, 03 Jun 2026 17:09:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.915579
• Title: Arithmetic Pedagogy for Language Models
• Title（参考訳）: 言語モデルのための算術的教育
• Authors: Andhika Bernard Lumbantobing, Hokky Situngkir,
• Abstract要約: 人間の数学教育の手法が言語モデルの訓練を算術的推論に導くことができるかどうかを考察する。 実行トレースを自然言語のChain-of-Thought(CoT)監視にシリアライズした計算手順として,各操作を運用する。 インドネシアのSyllabic-agglutinative TOBAトークンを用いたGPT-2デコーダ(86Mパラメータ)をスクラッチからトレーニングした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate whether methods of human mathematics pedagogy can guide the training of language models toward arithmetic reasoning. Building on the GASING method -- an Indonesian pedagogy that solves basic arithmetic through a left-to-right procedure aligned with the causal order of token generation -- we operationalize each operation as a computational procedure whose execution trace is serialized into natural-language Chain-of-Thought (CoT) supervision. A small GPT-2 decoder (86M parameters) with a syllabic-agglutinative TOBA tokenizer for Indonesian is trained from scratch on this data using only a next-token prediction objective, without reinforcement learning or reward-based optimization. Monitoring training reveals three distinct learning phases, and mechanistic analyses -- attention-masking interventions on the CoT information graph, residual-stream probing, and logit-lens inspection -- show that the model first internalizes a procedural pathway and subsequently develops an associative, ``mental-arithmetic'' capacity that retrieves intermediate results without explicit step-by-step computation. The trained model reaches over 80% accuracy on held-out problems and attains competitive performance against substantially larger language models, indicating that targeted, pedagogically grounded training can yield strong and economical arithmetic capability at small scale.
• Abstract（参考訳）: 人間の数学教育の手法が言語モデルの訓練を算術的推論に導くことができるかどうかを考察する。 GASING法 - トークン生成の因果順に整合した左から右の手順で基本的な算術を解くインドネシアの教育システム - に基づいて、各操作を、実行トレースを自然言語のChain-of-Thought(CoT)監視にシリアライズした計算手順として運用する。 インドネシア語用Syllabic-agglutinative TOBAトークンを用いた小型GPT-2デコーダ(86Mパラメータ)を、強化学習や報酬ベース最適化を使わずに、次の目標のみを用いて、スクラッチから訓練する。 モニタリングトレーニングは3つの異なる学習フェーズを明らかにし、機械的分析(CoT情報グラフへの注意-マスキングの介入、残留ストリームの探索、およびロジット-レンズ検査)は、モデルがまず手続き経路を内部化し、その後、明確なステップバイステップ計算なしで中間結果を検索する連想的「認知的」能力を開発することを示す。 トレーニングされたモデルは、保持された問題に対して80%以上の精度に達し、かなり大きな言語モデルと競合する性能を得る。

関連論文リスト

• AgentMath: Empowering Mathematical Reasoning for Large Language Models via Tool-Augmented Agent [80.83250816918861]
  o3やDeepSeek-R1のようなLarge Reasoning Models (LRM)は、長いチェーン・オブ・シークレットを持つ自然言語推論において顕著な進歩を遂げている。 しかし、計算的に非効率であり、複雑な数学的操作を必要とする問題を解く際には精度に苦しむ。 本稿では,言語モデルの推論能力とコードインタプリタの計算精度をシームレスに統合するエージェントフレームワークであるAgentMathを紹介する。
  論文  参考訳（メタデータ） (2025-12-23T19:57:49Z)
• Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence [113.48450265178953]
  既存の事前学習された非再帰言語モデルを深度再帰モデルに変換する方法について検討する。 学習過程におけるモデルの有効深度を高めるために繰り返しのカリキュラムを用いることで,全体の計算コストを削減しつつ,性能を維持できることが判明した。
  論文  参考訳（メタデータ） (2025-11-10T18:43:07Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [23.807288360423193]
  我々は,高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しい分割型モンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集できます。 重み付けされた自己整合性アルゴリズムとともに、この完全に自動化されたプロセスの監督は、LLMの数学推論性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• AlphaMath Almost Zero: Process Supervision without Process [6.318873143509028]
  我々はモンテカルロ木探索(MCTS)を活用することによってプロセスアノテーションの必要性を回避できる革新的なフレームワークAlphaMathを提案する。 このフレームワークは、その数学的推論を自律的に強化する、よく訓練されたLLMの可能性を解き放つことに焦点を当てている。 ドメイン内データセットとドメイン外データセットの両方の実験結果から,GPT-4や人手によるプロセス監視がなくても,AlphaMathフレームワークは従来の最先端手法と同等あるいは優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-06T15:20:30Z)
• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。