論文の概要: Beyond Compression: Diagnosing How Post-Training Changes Mathematical Reasoning
- arxiv url: http://arxiv.org/abs/2609.37066v1
- Date: Tue, 29 Sep 2026 09:04:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.351183
- Title: Beyond Compression: Diagnosing How Post-Training Changes Mathematical Reasoning
- Title（参考訳）: 圧縮を超えて:ポストトレーニングが数学的推論をどのように変えたかを診断する
- Abstract要約: ポストトレーニングは、現代大言語モデル(LLM)における数学的推論の中心である
一般的な診断読解条件下での訓練後パスを3つ比較した。
より簡単なAMC問題では、大きなK天井は飽和に近いため、ポストトレーニングは主にサンプルコストを圧縮する。
英語に支配的な蒸留は、非英語の推論を改善するが、言語階層のギャップを保っている。
- 参考スコア（独自算出の注目度）: 16.57439856818623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-training is central to mathematical reasoning in modern large language models (LLMs), but endpoint pass@1 alone underidentifies what has changed. Gains may reflect newly reachable solutions, cheaper sampling of latent solutions, surface robustness, or memorisation. We compare three post-training paths under a common diagnostic readout: our sufficiently trained off-policy distillation trajectories, released Qwen3 off-policy-plus-on-policy distillation endpoints, and a released DeepSeek-Math endpoint trained with Group Relative Policy Optimisation (GRPO). Our probe uses cross-surface pass@K over verbatim prompts, paraphrases, numerical isomorphisms, and translations, plus consistency, distribution-shape, and verified supervised-fine-tuning (SFT) membership analyses. We find two regimes. On easier AMC problems, large-K ceilings are near saturation, so post-training mainly compresses sample cost. On harder AIME problems, post-training expands the large-K ceiling over the base model: sufficient off-policy distillation already raises this ceiling, Qwen3 released endpoints raise it further, and DeepSeek-Math GRPO does not dominate sufficient off-policy distillation at large K. English-dominant distillation improves non-English reasoning but preserves language-tier gaps. A controlled-overfit audit finds limited sensitivity in current SFT-membership probes. Compression is one regime of post-training, not a universal explanation.
- Abstract（参考訳）: ポストトレーニングは、現代の大規模言語モデル(LLM)における数学的推論の中心であるが、エンドポイントパス@1だけで何が変わったのかを過小評価している。
利得は、新たに到達可能な解、潜伏解のより安価なサンプリング、表面の堅牢性、記憶化を反映する。
我々は, 十分な訓練を受けたオフ・ポリケーション・トラジェクトリ, Qwen3オフ・ポリケーション・オン・ポリケーション・蒸留エンドポイント, グループ・リレーティブ・ポリシー・オプティマイゼーション(GRPO)で訓練されたDeepSeek-Mathエンドポイントの3つを比較した。
提案手法では,動詞のプロンプト,パラフレーズ,数値同型,翻訳に加えて,一貫性,分布形状,検証された教師付き微細チューニング(SFT)メンバーシップ分析などを用いた。
体制は2つある。
より簡単なAMC問題では、大きなK天井は飽和に近いため、ポストトレーニングは主にサンプルコストを圧縮する。
厳格な AIME 問題では、ポストトレーニングは、ベースモデルよりも大きなK 天井を拡大する: 十分なオフ・ポリケート蒸留が既にこの天井を上昇させ、Qwen3 リリースのエンドポイントは更に上昇し、DeepSeek-Math GRPO は、大規模なイギリスにおける十分なオフ・ポリケート蒸留を支配していない。
制御オーバーフィット監査では、現在のSFTメンバーシッププローブの感度が制限されている。
圧縮はポストトレーニングの一形態であり、普遍的な説明ではない。
関連論文リスト
- OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。
これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。
品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
論文 参考訳（メタデータ） (2026-08-03T23:09:43Z) - Depth-Entropy Guided Sampling for Training-Free LLM Reasoning [7.057431471793534]
強化学習(Reinforcement Learning, RL)は, 大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。
固有品質信号として層ワイドエントロピー崩壊を利用するトレーニング不要なテスト時間法であるDepth-Entropy Guided Sampling (DEGS)を紹介する。
論文 参考訳（メタデータ） (2026-06-19T12:36:23Z) - Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation [9.8668958220381]
GSM8K 上で Qwen3-0.6B-Base を用いて, ポストトレーニングを状態分布整形として定式化した。
軽度のSFTランはGSM8Kをほとんど忘れずに改善する一方、ストレスSFTランはかなりの保持損失を引き起こす。
GSM8K, TruthfulQA, MMLUの教師を上回り, 教師を唯一の監督源として用いている。
論文 参考訳（メタデータ） (2026-05-21T17:03:22Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。
近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。
ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
論文 参考訳（メタデータ） (2026-04-29T11:56:07Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Nudging the Boundaries of LLM Reasoning [77.26972440427285]
現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。
自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。
NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
論文 参考訳（メタデータ） (2025-09-30T02:01:40Z) - Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。
本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。
差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
論文 参考訳（メタデータ） (2025-06-03T01:15:15Z) - From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。
本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
論文 参考訳（メタデータ） (2024-04-18T17:37:02Z) - Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。
Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
論文 参考訳（メタデータ） (2023-02-02T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。