論文の概要: Does Math Reasoning Improve General LLM Capabilities? Understanding Transferability of LLM Reasoning

• arxiv url: http://arxiv.org/abs/2507.00432v1
• Date: Tue, 01 Jul 2025 05:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.343032
• Title: Does Math Reasoning Improve General LLM Capabilities? Understanding Transferability of LLM Reasoning
• Title（参考訳）: 数学推論は一般LLM能力を向上させるか? : LLM推論の伝達性を理解する
• Authors: Maggie Huan, Yuetai Li, Tuney Zheng, Xiaoyu Xu, Seungone Kim, Minxin Du, Radha Poovendran, Graham Neubig, Xiang Yue,
• Abstract要約: 幅広いタスクからなる20以上のオープンウェイト推論チューニングモデルを評価した。 数学で成功するほとんどのモデルは、利得を他の領域に移すことができない。 以上の結果から,標準のポストトレーニングレシピを再考する必要性が示唆された。
• 参考スコア（独自算出の注目度）: 46.22610560773869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Math reasoning has become the poster child of progress in large language models (LLMs), with new models rapidly surpassing human-level performance on benchmarks like MATH and AIME. But as math leaderboards improve week by week, it is worth asking: do these gains reflect broader problem-solving ability or just narrow overfitting? To answer this question, we evaluate over 20 open-weight reasoning-tuned models across a broad suite of tasks, including math, scientific QA, agent planning, coding, and standard instruction-following. We surprisingly find that most models that succeed in math fail to transfer their gains to other domains. To rigorously study this phenomenon, we conduct controlled experiments on Qwen3-14B models using math-only data but different tuning methods. We find that reinforcement learning (RL)-tuned models generalize well across domains, while supervised fine-tuning (SFT)-tuned models often forget general capabilities. Latent-space representation and token-space distribution shift analyses reveal that SFT induces substantial representation and output drift, while RL preserves general-domain structure. Our results suggest a need to rethink standard post-training recipes, particularly the reliance on SFT-distilled data for advancing reasoning models.
• Abstract（参考訳）: 数学推論は、大規模言語モデル(LLM)の進歩の兆しとなり、新しいモデルは、MATHやAIMEのようなベンチマーク上での人間レベルのパフォーマンスを急速に上回っている。 しかし、数学のリーダーボードは週ごとに改善されているので、疑問を抱く価値がある。 この質問に答えるために、数学、科学QA、エージェント計画、コーディング、標準命令追従など、幅広いタスクからなる20以上のオープンウェイト推論調整モデルを評価した。 驚くべきことに、数学を成功させるほとんどのモデルは、その利益を他の領域に移すことができない。 この現象を厳密に研究するため,算数のみのデータを用いたQwen3-14Bモデルの制御実験を行った。 強化学習(RL)で調整されたモデルはドメイン間でよく一般化され、教師付き微調整(SFT)で調整されたモデルは一般の能力を忘れることがしばしばある。 潜在空間表現とトークン空間分布のシフト解析により、SFTは実質的な表現と出力のドリフトを誘導し、RLは一般ドメイン構造を保存する。 以上の結果から,学習後標準レシピの再考の必要性,特にSFT蒸留データによる推論モデルの改善の必要性が示唆された。

関連論文リスト

• Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective [82.24301452333577]
  強化学習(RL)は,大規模言語モデル(LLM)推論を改善するための有望なアプローチとして登場した。 重要な課題は、様々な推論領域にまたがる信頼性とスケーラブルなRL報酬信号の欠如である。 我々は,6つの推論領域にまたがる92Kの検証可能な例をキュレートしたRL推論コーパスであるGuruを紹介する。
  論文  参考訳（メタデータ） (2025-06-17T20:24:00Z)
• Incentivizing LLMs to Self-Verify Their Answers [20.2584779107763]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な進歩を示している。 自明な回答を自己検証するために LLM をインセンティブとするフレームワークを提案する。 我々はQwen2.5-Math-7BとDeepSeek-R1-Distill-Qwen-1.5Bに基づいて自己検証モデルを訓練する。
  論文  参考訳（メタデータ） (2025-06-02T06:54:29Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Distributional Successor Features Enable Zero-Shot Policy Optimization [36.53356539916603]
  本研究は、ゼロショットポリシー最適化のための分散継承機能(DiSPO)という、新しいモデルのクラスを提案する。 DiSPOは、定常データセットの行動ポリシーの後継機能の分布と、データセット内で達成可能な異なる後継機能を実現するためのポリシーを学ぶ。 データセットの長期的な結果を直接モデル化することにより、DiSPOは、報酬関数をまたいだゼロショットポリシー最適化のための単純なスキームを実現しつつ、複雑なエラーを避けることができる。
  論文  参考訳（メタデータ） (2024-03-10T22:27:21Z)
• ReFT: Reasoning with Reinforced Fine-Tuning [9.80361828538909]
  本稿では,Reinforced Fine-Tuning (ReFT) というシンプルな手法を提案する。 ReFTはまずSFTを用いてモデルをウォームアップし,さらにオンライン強化学習,特に本論文のPPOアルゴリズムを用いる。 GSM8K、MathQA、SVAMPデータセットの実験では、ReFTがSFTを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-01-17T04:43:21Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。