Fugu-MT 論文翻訳(概要): Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners

論文の概要: Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners

arxiv url: http://arxiv.org/abs/2509.26226v1
Date: Tue, 30 Sep 2025 13:25:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-01 17:09:04.552654
Title: Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners
Title（参考訳）: シンキングフリー政策初期化は、蒸留推論モデルをより効果的かつ効率的にする
Authors: Xin Xu, Cliveb AI, Kai Yang, Tianhao Chen, Yang Wang, Saiyong Yang, Can Yang,
Abstract要約: 本稿では, 長いチェーン・オブ・ソート(CoT)蒸留と標準RLVRを橋渡しするRLVRへの, 単純かつ効果的な適応である**T**hinking-**F*ree **P**olicy **I**nitialization (**I***)を紹介する。実験により、TFPIはRL収束を加速し、高い性能の天井を達成し、特別な報酬や複雑な訓練設計を伴わないよりトークン効率の高い推論モデルが得られることが示された。
参考スコア（独自算出の注目度）: 12.842803192993209
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement Learning with Verifiable Reward (RLVR) effectively solves complex tasks but demands extremely long context lengths during training, leading to substantial computational costs. While multi-stage training can partially mitigate this, starting with overly short contexts often causes irreversible performance degradation, ultimately failing to reduce overall training compute significantly. In this paper, we introduce **T**hinking-**F**ree **P**olicy **I**nitialization (**TFPI**), a simple yet effective adaptation to RLVR that bridges long Chain-of-Thought (CoT) distillation and standard RLVR. TFPI employs a simple *ThinkFree* operation, explicitly discarding the thinking content via a direct *</think>* append, to reduce token usage during inference. Training with *ThinkFree*-adapted inputs improves performance and lowers token consumption, even in the original slow-thinking mode. Extensive experiments across various benchmarks have shown that TFPI accelerates RL convergence, achieves a higher performance ceiling, and yields more token-efficient reasoning models without specialized rewards or complex training designs. With TFPI only, we train a 4B model to reach 89.0% accuracy on AIME24 and 65.5% on LiveCodeBench using less than 4K H20 hours.
Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Reward)は、複雑なタスクを効果的に解決するが、トレーニング中に非常に長いコンテキスト長を必要とするため、かなりの計算コストがかかる。マルチステージトレーニングは、これを部分的に緩和することができるが、過度に短いコンテキストから始めると、しばしば不可逆的なパフォーマンス劣化を引き起こし、最終的には、全体的なトレーニング計算を大幅に削減することができない。本稿では,*T**hinking-**F*ree **P**olicy **I**nitialization (**TFPI**)を紹介する。 TFPIは単純な*ThinkFree*操作を採用し、直接*</think>*アタッチメントを通じて思考内容を明示的に破棄することで、推論時のトークン使用量を削減する。 ThinkFree*適応入力によるトレーニングは、オリジナルのスローシンキングモードであっても、パフォーマンスを改善し、トークンの消費を減少させる。様々なベンチマークによる大規模な実験により、TFPIはRL収束を加速し、高い性能の天井を達成し、特別な報酬や複雑な訓練設計を伴わないよりトークン効率の良い推論モデルが得られることが示されている。 TFPIのみの場合、AIME24では89.0%、LiveCodeBenchでは65.5%の精度で4K H20時間未満で4Bモデルをトレーニングする。

論文の概要: Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners

関連論文リスト