論文の概要: ThinkTuning: Instilling Cognitive Reflections without Distillation
- arxiv url: http://arxiv.org/abs/2508.07616v1
- Date: Mon, 11 Aug 2025 04:51:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.944408
- Title: ThinkTuning: Instilling Cognitive Reflections without Distillation
- Title（参考訳）: ThinkTuning: 蒸留なしで認知反射を注入する
- Authors: Aswin RRV, Jacob Dineen, Divij Handa, Md Nayem Uddin, Mihir Parmar, Chitta Baral, Ben Zhou,
- Abstract要約: テストタイムスケーリングの最近の進歩は、自己回帰行動と多段階推論を示すLLMの出現につながっている。
そもそもそのような思考行動を示しないモデルを、どうやってトレーニングすればいいのか?
本研究では,GRPOに基づく対話型学習手法であるThinkTuningを提案する。
- 参考スコア（独自算出の注目度）: 35.55825732534013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in test-time scaling have led to the emergence of thinking LLMs that exhibit self-reflective behaviors and multi-step reasoning. While RL drives this self-improvement paradigm, a recent study (Gandhi et al., 2025) shows that RL alone does not truly instill these new reasoning abilities - it merely draws out behaviors already present in the base models. This raises a question: How can we train the models that don't exhibit such thinking behavior to develop it in the first place? To this end, we propose ThinkTuning, a GRPO-based interactive training approach where we augment the rollouts of a student model with the guidance from a teacher model. A simple idea from classroom practice inspires our method: a teacher poses a problem, lets the student try an answer, then gives corrective feedback -- enough to point the mind in the right direction and then show the solution. Each piece of feedback reshapes the student's thoughts, leading them to arrive at the correct solution. Similarly, we find that this type of implicit supervision through feedback from a teacher model of the same size improves the reasoning capabilities of the student model. In particular, on average, our method shows a 3.85% improvement over zero-shot baselines across benchmarks, and on MATH-500, AIME and GPQA-Diamond it shows 2.08%, 2.23% and 3.99% improvements over the vanilla-GRPO baseline. Source code is available at https://github.com/3rdAT/ThinkTuning.
- Abstract（参考訳）: テストタイムスケーリングの最近の進歩は、自己回帰行動や多段階推論を示すLLMの出現につながっている。
RLがこの自己改善パラダイムを推進している一方で、最近の研究(Gandhi et al , 2025)は、RLだけがこれらの新しい推論能力を真に注入していないことを示している。
そもそもそのような思考行動を示しないモデルを、どうやってトレーニングすればいいのか?
そこで本研究では,GRPOに基づく対話型学習手法であるThinkTuningを提案する。
教師が問題を提起し、生徒に答えを試させ、それから修正的なフィードバックを与えます -- 正しい方向に心を向け、解決策を示すのに十分です。
フィードバックの各ピースは学生の考えを安心させ、正しい解にたどり着く。
同様に、同じサイズの教師モデルからのフィードバックを通じて、このような暗黙的な監督が、学生モデルの推論能力を向上させることが分かる。
特に,ベンチマークにおけるゼロショットベースラインよりも平均3.85%改善し,MATH-500,AIME,GPQA-ダイアモンドでは2.08%,2.23%,3.99%改善した。
ソースコードはhttps://github.com/3rdAT/ThinkTuning.comで入手できる。
関連論文リスト
- Socratic-MCTS: Test-Time Visual Reasoning by Asking the Right Questions [100.41062461003389]
フラーミング推論は,断片化された知識間の「点の接続」をモデルが支援し,非推論モデルにおいて拡張された推論トレースを生成することを示す。
提案手法を3つのベンチマークで評価し,一貫した改善点を観察する。
論文 参考訳（メタデータ） (2025-06-10T15:51:16Z) - Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models [45.33952788910874]
TONは視覚言語モデルの2段階のトレーニング戦略である。
選択的な推論のためのコールドスタートとして機能するシンクまたはノットフォーマットを導入している。
TONは、バニラGRPOと比較して、完成期間を最大90%短縮することができる。
論文 参考訳（メタデータ） (2025-05-22T16:13:29Z) - VL-Rethinker: Incentivizing Self-Reflection of Vision-Language Models with Reinforcement Learning [55.97950660659051]
我々は(蒸留に頼らずに)強化学習による視覚言語モデルの遅い思考能力の向上を目指す。
我々は、RLトレーニングにおけるロールアウトの最後に再考トリガートークンを付加し、自己回帰推論ステップを明示的に実施する強制再考(Forced Rethinking)を導入する。
我々のモデルであるVL-Rethinkerは、MathVista、MathVerseの最先端スコアを80.4%、63.5%に向上させています。
論文 参考訳（メタデータ） (2025-04-10T17:41:56Z) - SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。
第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。
第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
論文 参考訳（メタデータ） (2024-10-11T17:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。