論文の概要: Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners

• arxiv url: http://arxiv.org/abs/2509.26226v1
• Date: Tue, 30 Sep 2025 13:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.552654
• Title: Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners
• Title（参考訳）: シンキングフリー政策初期化は、蒸留推論モデルをより効果的かつ効率的にする
• Authors: Xin Xu, Cliveb AI, Kai Yang, Tianhao Chen, Yang Wang, Saiyong Yang, Can Yang,
• Abstract要約: 本稿では, 長いチェーン・オブ・ソート(CoT)蒸留と標準RLVRを橋渡しするRLVRへの, 単純かつ効果的な適応である**T**hinking-**F*ree **P**olicy **I**nitialization (**I***)を紹介する。 実験により、TFPIはRL収束を加速し、高い性能の天井を達成し、特別な報酬や複雑な訓練設計を伴わないよりトークン効率の高い推論モデルが得られることが示された。
• 参考スコア（独自算出の注目度）: 12.842803192993209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Reward (RLVR) effectively solves complex tasks but demands extremely long context lengths during training, leading to substantial computational costs. While multi-stage training can partially mitigate this, starting with overly short contexts often causes irreversible performance degradation, ultimately failing to reduce overall training compute significantly. In this paper, we introduce **T**hinking-**F**ree **P**olicy **I**nitialization (**TFPI**), a simple yet effective adaptation to RLVR that bridges long Chain-of-Thought (CoT) distillation and standard RLVR. TFPI employs a simple *ThinkFree* operation, explicitly discarding the thinking content via a direct *</think>* append, to reduce token usage during inference. Training with *ThinkFree*-adapted inputs improves performance and lowers token consumption, even in the original slow-thinking mode. Extensive experiments across various benchmarks have shown that TFPI accelerates RL convergence, achieves a higher performance ceiling, and yields more token-efficient reasoning models without specialized rewards or complex training designs. With TFPI only, we train a 4B model to reach 89.0% accuracy on AIME24 and 65.5% on LiveCodeBench using less than 4K H20 hours.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Reward)は、複雑なタスクを効果的に解決するが、トレーニング中に非常に長いコンテキスト長を必要とするため、かなりの計算コストがかかる。 マルチステージトレーニングは、これを部分的に緩和することができるが、過度に短いコンテキストから始めると、しばしば不可逆的なパフォーマンス劣化を引き起こし、最終的には、全体的なトレーニング計算を大幅に削減することができない。 本稿では,*T**hinking-**F*ree **P**olicy **I**nitialization (**TFPI**)を紹介する。 TFPIは単純な*ThinkFree*操作を採用し、直接*</think>*アタッチメントを通じて思考内容を明示的に破棄することで、推論時のトークン使用量を削減する。 ThinkFree*適応入力によるトレーニングは、オリジナルのスローシンキングモードであっても、パフォーマンスを改善し、トークンの消費を減少させる。 様々なベンチマークによる大規模な実験により、TFPIはRL収束を加速し、高い性能の天井を達成し、特別な報酬や複雑な訓練設計を伴わないよりトークン効率の良い推論モデルが得られることが示されている。 TFPIのみの場合、AIME24では89.0%、LiveCodeBenchでは65.5%の精度で4K H20時間未満で4Bモデルをトレーニングする。

関連論文リスト

• On-Policy Supervised Fine-Tuning for Efficient Reasoning [27.67711115864118]
  大規模推論モデル(LRM)は、長い連鎖推論を探索するために強化学習(RL)を用いて訓練されることが多い。 近年の手法では, 正確さと簡潔さを両立させるため, マルチリワード目的を付加しているが, これらの複雑な拡張はトレーニングを不安定にし, 準最適トレードオフをもたらすことが多い。 従来の精度を維持しつつ,CoT長を最大80まで短縮する簡易なSFTトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2026-02-13T19:16:39Z)
• Gradually Compacting Large Language Models for Reasoning Like a Boiling Frog [72.4168434368873]
  大きな言語モデル(LLM)は印象的な推論能力を示しているが、その相当なサイズは、しばしばかなりの計算資源を必要とする。 圧縮過程を細かな繰り返しに分割する段階的圧縮法を提案する。 この「沸騰するカエル」効果の反復的なアプローチは、急激な性能損失を伴わずに、モデルを段階的に圧縮することができる。
  論文  参考訳（メタデータ） (2026-02-04T06:56:52Z)
• Thinking-Based Non-Thinking: Solving the Reward Hacking Problem in Training Hybrid Reasoning Models via Reinforcement Learning [57.57084309580296]
  Thinking-Based Non-Thinkingは、さまざまなクエリに対する思考を使用しない応答に対して、異なる最大トークン使用量を設定する。 5つの数学ベンチマークの実験により、TNTはトークンの使用量を約50%削減することを示した。 TNTの応答における報酬ハッキングの確率は、思考を使用しないものとして分類されているが、依然として10%以下である。
  論文  参考訳（メタデータ） (2026-01-08T10:38:41Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• Boosting Accuracy and Efficiency of Budget Forcing in LLMs via Reinforcement Learning for Mathematical Reasoning [1.4348015996689416]
  本稿では,Regressed Learning(RL)を統合したフレームワークを提案し,トークン効率の向上と数学的推論のための1.5Bモデルの性能向上を図る。 その結果,SFTモデルと比較してトークン使用率を40%以上削減し,全体的な精度が向上した。
  論文  参考訳（メタデータ） (2025-10-24T12:39:15Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• AmorLIP: Efficient Language-Image Pretraining via Amortization [52.533088120633785]
  Contrastive Language-Image Pretraining (CLIP) は、様々な下流のテキストイメージタスクにまたがる強力なゼロショット性能を示している。 軽量ニューラルネットワークによるコントラスト学習に関わる高価な計算を記憶する,効率的なCLIP事前学習フレームワークであるAmorLIPを提案する。
  論文  参考訳（メタデータ） (2025-05-25T05:30:37Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• FastCuRL: Curriculum Reinforcement Learning with Stage-wise Context Scaling for Efficient Training R1-like Reasoning Models [35.44600061387139]
  我々は,LLM学習と推論を効率的に行うために,段階的コンテキストスケーリングを備えたカリキュラムRLフレームワークであるFastCuRLを提案する。 FastCuRL-1.5B-V3は5つの競合レベルのベンチマークで最先端の推論モデルよりも優れ、AIME 2024では49.6%の精度を達成した。
  論文  参考訳（メタデータ） (2025-03-21T16:35:31Z)
• Uconv-Conformer: High Reduction of Input Sequence Length for End-to-End Speech Recognition [3.3627327936627416]
  この研究は、標準のコンフォーマーモデルに基づく新しいUconv-Conformerアーキテクチャを提案する。 我々は、U-Netアーキテクチャに似たアップサンプリングブロックを用いて、正しいCTC損失計算とネットワークトレーニングの安定化を図る。 Uconv-Conformerアーキテクチャは、トレーニングと推論の点で高速であるだけでなく、ベースラインのConformerよりもWERが優れている。
  論文  参考訳（メタデータ） (2022-08-16T10:40:15Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。