論文の概要: TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization

• arxiv url: http://arxiv.org/abs/2606.05859v1
• Date: Thu, 04 Jun 2026 08:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.649857
• Title: TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization
• Title（参考訳）: TARPO:アクションルーティングポリシ最適化によるToken-Wise遅延明示推論
• Authors: Liting Zhang, Shiwan Zhao, Xuyang Zhao, Zichen Xu, Jianye Wang, Qicheng Li,
• Abstract要約: TARPOは純粋なRLフレームワークであり、各ステップで離散トークン生成と連続潜在推論を切り替える。 TARPOは、様々なベンチマークで、既存の明示的で潜在的なRLベースラインよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 18.977861031175756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent reasoning has emerged as a promising alternative to discrete Chain-of-Thought (CoT) in large language models (LLMs), enabling more expressive reasoning by operating over continuous representations. However, the inherently deterministic nature of continuous representations limits policy exploration in reinforcement learning (RL). To address this, we propose TARPO (Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization), a pure RL framework that adaptively switches between discrete token generation and continuous latent reasoning at each step. TARPO introduces a lightweight action head router that observes the current hidden state and samples a routing decision from a binary mode-selection space, preserving the stochasticity of discrete token sampling from the vocabulary. The LLM backbone and router are jointly optimized end-to-end with a shared group-relative advantage signal. Extensive experiments across Qwen2.5 (from 1.5B to 7B) and Llama-3.1-8B backbones demonstrate that TARPO consistently outperforms existing explicit and latent reasoning RL baselines across diverse benchmarks. Further analysis shows that TARPO learns adaptive token-wise switching behaviors while maintaining stable training dynamics. Our code is available at https://github.com/NKU-LITI/TARPO-master.
• Abstract（参考訳）: 遅延推論は、大規模言語モデル(LLM)における離散連鎖(CoT)に代わる有望な代替手段として現れ、連続表現を操作することによってより表現力のある推論を可能にしている。 しかし、連続表現の本質的に決定論的性質は、強化学習(RL)における政策探索を制限する。 そこで我々は,各ステップにおける離散トークン生成と連続潜在推論を適応的に切り替える純粋なRLフレームワークであるTARPO(Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization)を提案する。 TARPOは、現在の隠れ状態を観察し、バイナリモード選択空間からルーティング決定をサンプリングする軽量なアクションヘッドルータを導入し、語彙からの離散トークンサンプリングの確率を保存する。 LLMバックボーンとルータは、共有グループ相対的なアドバンテージ信号と共に、エンドツーエンドで共同最適化される。 Qwen2.5(1.5Bから7Bまで)とLlama-3.1-8Bのバックボーンにわたる大規模な実験により、TARPOは様々なベンチマークにおいて既存の明示的かつ潜在的なRL基準よりも一貫して優れていることが示された。 さらに分析した結果,TARPOは安定なトレーニングダイナミクスを維持しつつ,適応的なトークンスイッチング動作を学習することがわかった。 私たちのコードはhttps://github.com/NKU-LITI/TARPO-masterで利用可能です。

関連論文リスト

• LASAR: Latent Adaptive Semantic Aligned Reasoning for Generative Recommendation [33.48046116606003]
  大規模言語モデル(LLM)において、潜在推論が効果的なパラダイムとして出現した SFT-then-RLフレームワークであるLASAR(Latent Adaptive Semantic Aligned Reasoning)を提案する。 3つの実世界のデータセットの実験は、LASARがすべてのベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-11T08:52:53Z)
• LEPO: Latent Reasoning Policy Optimization for Large Language Models [11.032175358561162]
  Gumbel-Softmax による潜在推論に制御性を導入する。 textbfunderline Latent Rtextbfunderlineesoning textbfunderlinePolicy textbfunderlineOptimization(textbfLEPO)を提案する。 テストでは、LEPOは離散的および潜在的推論のために既存のRL法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-04-20T07:05:12Z)
• Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
  本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。 ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-26T06:25:27Z)
• Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
  マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。 既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。 本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-24T06:38:00Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)
• Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
  強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。 この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。 クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
  論文  参考訳（メタデータ） (2025-10-15T13:49:51Z)
• Parallel Test-Time Scaling for Latent Reasoning Models [58.428340345068214]
  並列テスト時間スケーリング(TTS)は、大規模言語モデル(LLM)の拡張のための重要なアプローチである。 連続ベクトル空間において中間的推論が展開する潜在的推論の最近の進歩は、明示的なチェーン・オブ・サート(Chain-of-Thought)に対するより効率的な代替手段を提供する。 この作業は、上記の問題に対処することで、潜在推論モデルに対する並列TSを可能にする。
  論文  参考訳（メタデータ） (2025-10-09T03:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。