論文の概要: What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code

• arxiv url: http://arxiv.org/abs/2605.19762v1
• Date: Tue, 19 May 2026 12:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.328549
• Title: What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code
• Title（参考訳）: 数学的推論を本当に改善するもの:純コードを超えた構造的推論信号
• Authors: Yuze Zhao, Junpeng Fang, Lu Yu, Zhenya Huang, Kai Zhang, Qing Cui, Qi Liu, Jun Zhou, Enhong Chen,
• Abstract要約: ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。 コードはプログラミング能力を大幅に改善するが、一般的な推論エンハンサーとして機能しない。 コード-テキストと数学-テキストの混合のようなドメイン間構造的推論トレースがよりうまく説明されている。
• 参考スコア（独自算出の注目度）: 72.9921566968371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code has become a standard component of modern foundation language model (LM) training, yet its role beyond programming remains unclear. We revisit the claim that code improves reasoning through controlled pretraining experiments on a 10T-token corpus with fine-grained domain separation. Our findings are threefold. First, when code is restricted to standalone executable programs and Code-NL data are controlled for, code substantially improves programming ability but does not act as a general reasoning enhancer; instead, it competes with knowledge-intensive tasks, especially complex mathematical reasoning. Second, the reasoning gains often attributed to code are better explained by cross-domain structured reasoning traces, such as code-text and math-text mixtures, rather than by executable code alone. Third, increasing the density of structured math-domain samples within a fixed math budget yields substantial gains on difficult mathematical reasoning while largely preserving programming performance, suggesting that cognitive scaffolds offer a targeted way to mitigate cross-domain trade-offs. Finally, routing analyses show that data-composition effects are reflected in expert-activation patterns, providing mechanism-level evidence for competitive and synergistic interactions across domains. Our results clarify which data characteristics transfer across capability dimensions and point to more precise data-centric optimization strategies.
• Abstract（参考訳）: コードは現代の基礎言語モデル(LM)トレーニングの標準コンポーネントとなっているが、プログラミング以上の役割は未だ不明である。 ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。 私たちの発見は3倍です。 第一に、コードがスタンドアロン実行可能プログラムに制限され、コード-NLデータが制御される場合、コードはプログラミング能力を大幅に向上するが、一般的な推論エンハンサーとして機能せず、知識集約的なタスク、特に複雑な数学的推論と競合する。 第二に、コードによってしばしば引き起こされる推論の利得は、実行可能なコードのみによってではなく、コード-テキストと数学-テキストの混合のようなドメイン間構造的推論のトレースによってよりよく説明されます。 第三に、固定された数学予算内での構造化された数学領域サンプルの密度の増加は、プログラミング性能を大きく保ちながら、難解な数学的推論においてかなりの利益をもたらし、認知的な足場が、クロスドメイントレードオフを緩和するターゲットとなることを示唆している。 最後に、ルーティング分析により、データ合成効果がエキスパートアクティベーションパターンに反映され、ドメイン間の競合および相乗的相互作用のメカニズムレベルの証拠を提供する。 以上の結果から,データ特性がキャパシティ次元をまたいでどのデータ特性を伝達するかを明らかにし,より正確なデータ中心最適化戦略を示す。

関連論文リスト

• Chain of Execution Supervision Promotes General Reasoning in Large Language Models [48.100128916029064]
  TracePileは260万のサンプルからなる大規模なコーパスで、コード実行を明示的でステップバイステップのチェーン・オブ・シンクスタイルの論理に変換する。 我々は,継続事前訓練,事前訓練後の指導訓練,2段階微調整という3つのトレーニング設定を用いてTracePileを評価する。 特にTracePileは、9つの数学データセットでLLaMA3.1-8Bを平均7.1%向上させ、LiveCodeBench、CRUX、MMLUで明確なゲインを提供する。
  論文  参考訳（メタデータ） (2025-10-24T02:21:11Z)
• Which Data Attributes Stimulate Math and Code Reasoning? An Investigation via Influence Functions [8.540135660509058]
  大規模言語モデル(LLM)は数学やコーディングにおいて顕著な推論能力を示している。 影響関数を利用して、LLMの推論能力を数学やコーディングに当てはめ、個々のトレーニング例、シーケンス、トークンに当てはめます。 高い微分率の数学の例は、算術とコード推論の両方を改善するが、低微分率のコードタスクは、コードの推論に最も効果的に寄与する。
  論文  参考訳（メタデータ） (2025-05-26T13:15:26Z)
• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。