論文の概要: Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking

• arxiv url: http://arxiv.org/abs/2610.17767v1
• Date: Tue, 13 Oct 2026 05:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.531132
• Title: Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking
• Title（参考訳）: 推論を効果的に学習する:適応的思考のためのルートツーケンポリシー最適化
• Abstract要約: RPO は LRM が初期ルートトークンのみをトレーニングすることで推論する際の自己決定を可能にするフレームワークである。 RPOは,従来の適応推論手法のトレーニング計算のわずか2%で,適応思考の難易度を学習する。
• 参考スコア（独自算出の注目度）: 33.703165469238414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models (LRMs) achieve strong performance by externalizing explicit reasoning traces before producing the answer, yet suffer from overthinking challenge that allocates uniformly heavy computation to queries of varying difficulty. While proprietary models mitigate this via opaque routing, open-source LRMs still lack an efficient mechanism to internalize adaptive reasoning due to both expensive training cost and limited disclosure of training recipes. In response, we introduce RPO (Root-token Policy Optimization), a framework that enables LRMs to self-determine when to reason by training only the initial root token (e.g., whether to invoke the <think> tag) via group relative reward and group-wise advantages. By focusing on this pivotal branching point, RPO drastically reduces training overhead and VRAM usage. Across multiple model families and scales, RPO learns difficulty-aware adaptive thinking at just ~2% of the training compute of prior adaptive-reasoning methods.
• Abstract（参考訳）: 大きな推論モデル(LRM)は、答えを生成する前に明示的な推論トレースを外部化することで強力な性能を達成するが、様々な困難のあるクエリに一様に重い計算を割り当てる過度な課題に悩まされる。 プロプライエタリなモデルは不透明なルーティングを通じてこれを緩和するが、オープンソースのRMMは、高価なトレーニングコストと限られたトレーニングレシピの開示の両方のために、適応推論を内部化する効率的なメカニズムを欠いている。 RPO(Root-token Policy Optimization)は,初期ルートトークン(例えば,<think>タグを起動するかどうか)のみを,グループ相対的な報酬とグループ的アドバンテージによってトレーニングすることで,LEMが推論する際の自己決定を可能にするフレームワークである。 この重要な分岐点に焦点を当てることで、RPOはトレーニングのオーバーヘッドとVRAMの使用を大幅に削減する。 複数のモデルファミリとスケールにまたがって、RPOは従来の適応推論手法のトレーニング計算のわずか2%で困難に意識した適応思考を学習する。

関連論文リスト

• AdaptR1: Reinforcement Learning Based Adaptive Interleaved Thinking in Multi-hop Question Answering [76.52199013231484]
  マルチホップ質問回答(QA)における適応的インターリーブド思考のための強化学習(RL)に基づくフレームワークAdaptR1を紹介する。 Graph-R1設定では、AdaptR1は平均的なシンクトークンを69.71%削減し、HotpotQAは90.35%削減された。 分析の結果,マルチホップ推論における過度な思考は,一様分布ではなく,初期計画段階で主に発生することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-29T09:34:45Z)
• CiPO: Counterfactual Unlearning for Large Reasoning Models through Iterative Preference Optimization [54.774620283208776]
  大きな推論モデル(LRM)は、複雑な問題に対処するための長いチェーン・オブ・シント(CoT)推論を強調する。 既存の方法は、CoTトレースから望ましくない知識を完全に排除するか、推論プロセスへの干渉によって推論性能を低下させるかのいずれかである。 LRMにおけるCoT推論の目的的介入として、非学習を再定義する新しいフレームワークである反復的選好最適化(CiPO)を通じて、対実的アンラーニングを導入する。
  論文  参考訳（メタデータ） (2026-04-17T08:56:36Z)
• Mitigating Overthinking in Large Reasoning Models via Difficulty-aware Reinforcement Learning [13.096138112729358]
  大規模推論モデル(LRM)は、人間の深い思考行動を模倣することによって、明確な連鎖展開を実現する。 しかし、深い思考モードは、単純なタスクを扱う際に、必要以上に長い推論とリソースの非効率をもたらすことが多い。 本稿では,強化学習に基づくLEM学習フレームワークであるDifficulty-Aware Policy Optimization (DiPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T08:56:45Z)
• Gold-Switch: Training-Free Superposition of Slow- and Fast- Thinking LLMs [36.84838904299283]
  大規模推論モデル(LRM)は、意図的な人間の推論をエミュレートすることで、構造化されたタスクに優れるが、しばしば過度な考えに悩まされる。 本稿では,1つのモデルのオン/オフによるスイッチング推論を最適化するために,軽量でトレーニング不要な規制を施したデプロイ戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-08T08:17:57Z)
• Good Learners Think Their Thinking: Generative PRM Makes Large Reasoning Model More Efficient Math Learner [31.033131727230277]
  大規模推論モデル(LRM)は、Reinforcement Learning (RL) で最適化された複雑な数学問題の解法において、最近約束されている。 本稿では,RLに基づく学習における大きなボトルネックに対処するため,思考レベルで機能する固有信号駆動型生成過程評価機構を提案する。 1.5B と 7B のパラメータ LRM を用いた実験により,結果のみの報酬ベースラインよりもトレーニングサンプルが有意に少ない問題解精度が得られた。
  論文  参考訳（メタデータ） (2025-07-31T07:54:58Z)
• Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models [67.87579664988199]
  TONは視覚言語モデル(VLM)のための2段階のトレーニング戦略である 選択的な推論のためのコールドスタートとして機能するシンクまたはノットフォーマットを導入している。 TONは、バニラGRPOと比較して、完成期間を最大90%短縮することができる。
  論文  参考訳（メタデータ） (2025-05-22T16:13:29Z)
• Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models [50.4652276723694]
  Think-RMは、高度な機能をサポートするフレキシブルで自己誘導的な推論トレースを生成する。 Think-RM は RM-Bench 上で最先端の結果を達成し,BT RM と GenRM の垂直スケールを8% 上回った。
  論文  参考訳（メタデータ） (2025-05-22T05:56:11Z)
• Let LRMs Break Free from Overthinking via Self-Braking Tuning [68.93713497579853]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Learning When to Think: Shaping Adaptive Reasoning in R1-Style Models via Multi-Stage RL [36.40577746211243]
  大規模推論モデル(LRM)は、最終的な答えを生成する前に、明示的でステップバイステップの推論シーケンスを生成するのに熟練している。 この過度に考える問題に対処するため、適応的思考能力を備えたLEMの装備方法について検討する。 推論ポリシーを段階的に最適化する多段階強化学習フレームワークであるAutoThinkを提案する。
  論文  参考訳（メタデータ） (2025-05-16T04:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。