論文の概要: Efficient Reasoning Exploration via State-Conditioned Latent Steering with Progress Guidance

• arxiv url: http://arxiv.org/abs/2609.24066v1
• Date: Mon, 21 Sep 2026 03:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.049839
• Title: Efficient Reasoning Exploration via State-Conditioned Latent Steering with Progress Guidance
• Title（参考訳）: 進行誘導による状態依存型潜水ステアリングによる効率的な推論探索
• Abstract要約: 訓練後の推論モデルは、しばしば、独立したロールアウトが同様の推論経路を何度も追従する、啓発的崩壊に悩まされる。 エンファンダーライン状態条件付きアンダーライン誘導アンダーラインステアリング(SPS)を提案する。 オンライン推論中、SPSは現在のプレフィックス状態に基づいて適切なステアリングベクトルを取得し、それを高い不確実性遷移に適用し、次の推論ステップを導出する。
• 参考スコア（独自算出の注目度）: 41.551944557767236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Best-of-$N$ is a widely used inference strategy for complex reasoning, whose effectiveness depends on whether sampled candidates can cover diverse and high-quality reasoning paths. However, post-trained reasoning models often suffer from \emph{exploration collapse}, where independent rollouts repeatedly follow similar reasoning paths and limit the gains from increasing the rollout budget. Existing methods alleviate this issue by promoting broader exploration, but do not explicitly guide exploration toward continuations that make meaningful progress, resulting in limited exploration efficiency. To address this, we propose \emph{\underline{S}tate-conditioned \underline{P}rogress-guided \underline{S}teering} (SPS), a training-free latent steering framework. Specifically, SPS constructs a state-conditioned Direction Bank containing multiple progress-guided steering vectors for different prefix-state regions. During online inference, SPS retrieves a suitable steering vector based on the current prefix state and applies it at high-uncertainty transitions to guide the next reasoning step toward meaningful progress. Extensive experiments across multiple model scales and benchmarks demonstrate that SPS consistently outperforms strong baselines. Further analyses validate the effectiveness of its key designs and offer valuable insights for future research. The code is available at https://github.com/rattlesnakey/SPS.
• Abstract（参考訳）: Best-of-N$は複雑な推論のための広く使われている推論戦略であり、サンプル候補が多様かつ高品質な推論経路をカバーできるかどうかにかかっている。 しかし、訓練後の推論モデルはしばしば「emph{exploration collapse}」に悩まされ、独立系ロールアウトも同様の推論経路を何度も踏襲し、ロールアウト予算の増加による利得を制限する。 既存の方法では、より広い探索を促進することでこの問題を緩和するが、意味のある進歩をもたらす継続への探索を明示的に導くことはなく、探索効率が制限される。 これを解決するために,トレーニング不要な潜在的ステアリングフレームワークであるemph{\underline{S}tate-conditioned \underline{P}rogress-guided \underline{S}teering} (SPS)を提案する。 具体的には、SPSは、異なるプレフィックス状態領域に対して複数の進行誘導ステアリングベクトルを含む状態条件のディレクティブバンクを構築する。 オンライン推論中、SPSは現在のプレフィックス状態に基づいて適切なステアリングベクトルを取得し、それを高い不確実性遷移に適用し、次の推論ステップを意味のある進歩へと導く。 複数のモデルスケールとベンチマークにわたる大規模な実験は、SPSが強いベースラインを一貫して上回ることを示した。 さらに、重要な設計の有効性を検証し、将来の研究に有用な洞察を提供する。 コードはhttps://github.com/rattlesnakey/SPSで公開されている。

関連論文リスト

• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization [18.977861031175756]
  TARPOは純粋なRLフレームワークであり、各ステップで離散トークン生成と連続潜在推論を切り替える。 TARPOは、様々なベンチマークで、既存の明示的で潜在的なRLベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-06-04T08:30:53Z)
• Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning [27.851326399978394]
  大規模言語モデルは、拡張チェーン・オブ・ソート推論により最終回答精度を向上させる。 既存の効率的な推論手法は、トレースの短縮、早期停止、圧縮によって思考長を制御する。 本稿では,マルコフ決定過程の推論を定式化したACTS(Agenic Chain-of-Thought Steering)を提案する。
  論文  参考訳（メタデータ） (2026-06-02T17:51:30Z)
• Training Multi-Turn Search Agent via Contrastive Dynamic Branch Sampling [29.182538022605627]
  Branching Relative Policy Optimization (BranPO) は、高額な報酬なしで段階レベルのコントラスト管理を提供する価値のない手法である。 BranPOは尾部付近の軌跡を切断し、他の連続をサンプリングし、共有接頭辞の上に対照的な接尾辞を構成する。 さらに効率を向上し、トレーニングを安定させるために、タスク間の分岐周波数に適応する難易度分岐サンプリングと、不正な動作を抑制するために冗長なステップマスキングを導入する。
  論文  参考訳（メタデータ） (2026-02-03T16:43:09Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。