論文の概要: Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.22229v1
• Date: Fri, 24 Apr 2026 05:07:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.347514
• Title: Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning
• Title（参考訳）: 対応しない保存支援:オフライン強化学習のための動的ルーティング
• Abstract要約: 1ステップのオフラインRLアクターは、長い反復サンプリングを通したバックプロパゲートを避けるため、魅力的である。 本稿では,トップ1動的ルーティングを訓練した潜在条件付きワンステップアクタDROLを提案する。
• 参考スコア（独自算出の注目度）: 11.929005952313261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-step offline RL actors are attractive because they avoid backpropagating through long iterative samplers and keep inference cheap, but they still have to improve under a critic without drifting away from actions that the dataset can support. In recent one-step extraction pipelines, a strong iterative teacher provides one target action for each latent draw, and the same student output is asked to do both jobs: move toward higher Q and stay near that paired endpoint. If those two directions disagree, the loss resolves them as a compromise on that same sample, even when a nearby better action remains locally supported by the data. We propose DROL, a latent-conditioned one-step actor trained with top-1 dynamic routing. For each state, the actor samples $K$ candidate actions from a bounded latent prior, assigns each dataset action to its nearest candidate, and updates only that winner with Behavior Cloning and critic guidance. Because the routing is recomputed from the current candidate geometry, ownership of a supported region can shift across candidates over the course of learning. This gives a one-step actor room to make local improvements that pointwise extraction struggles to capture, while retaining single-pass inference at test time. On OGBench and D4RL, DROL is competitive with the one-step FQL baseline, improving many OGBench task groups while remaining strong on both AntMaze and Adroit. Project page: https://muzhancun.github.io/preprints/DROL.
• Abstract（参考訳）: 1ステップのオフラインRLアクターは、長い反復的なサンプリングラによるバックプロパゲートを回避し、推論を安く保つため魅力的だが、データセットがサポートできるアクションから遠ざかることなく、批判の下で改善する必要がある。 最近の1ステップの抽出パイプラインでは、強力な反復的な教師が各潜在引き分けに対して1つのターゲットアクションを提供し、同じ学生出力が両方のジョブを実行するように要求される。 これら2つの方向が一致しない場合、データによって近接したより良いアクションがローカルにサポートされた場合でも、損失は同じサンプルに対する妥協として解決する。 本稿では,トップ1動的ルーティングを訓練した潜在条件付きワンステップアクタDROLを提案する。 各状態について、アクターは、境界付き潜在候補から$K$の候補アクションをサンプリングし、各データセットアクションを最も近い候補に割り当て、その勝者のみをビヘイビアクローンと批判ガイダンスで更新する。 ルーティングは現在の候補ジオメトリから再計算されるため、サポート対象領域のオーナシップは、学習の過程で候補間でシフトすることができる。 これにより、テスト時にシングルパス推論を保持しながら、ポイントワイズ抽出がキャプチャに苦労するローカル改善を行うためのワンステップアクタルームが提供される。 OGBenchとD4RLでは、DROLはワンステップのFQLベースラインと競合し、多くのOGBenchタスクグループを改善しながら、AntMazeとAdroitに強く依存している。 プロジェクトページ: https://muzhancun.github.io/preprints/DROL。

関連論文リスト

• Iris: Climbing to the Search Frontier [21.066541702697112]
  我々は35B-A3Bスケールと397B-A17Bスケールでトレーニングされた2つの検索エージェントであるIris-miniとIris-proを紹介する。
  論文  参考訳（メタデータ） (2026-09-03T17:51:01Z)
• OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
  OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。 これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。 品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
  論文  参考訳（メタデータ） (2026-08-03T23:09:43Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization [18.977861031175756]
  TARPOは純粋なRLフレームワークであり、各ステップで離散トークン生成と連続潜在推論を切り替える。 TARPOは、様々なベンチマークで、既存の明示的で潜在的なRLベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-06-04T08:30:53Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning [10.037416068775853]
  本稿では,多段階フローマッチングポリシと蒸留ワンステップアクタを結合したガイドフローポリシーを提案する。 アクターは、重み付けされた振る舞いのクローンを通じてフローポリシーを指示し、データセットから高価値なアクションのクローンに集中する。 この相互誘導により、GFPは144の状態およびピクセルベースのタスクで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2025-12-03T17:05:58Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• Deep Reinforcement Learning with Gradient Eligibility Traces [28.93284550303061]
  本稿では、$lambda$-returnに基づいて、一般化された$overlinetextPBE$目的を拡張し、マルチステップクレジット代入をサポートする。 我々は、経験的リプレイと互換性のあるフォワードビュー定式化と、ストリーミングアルゴリズムと互換性のある後方ビュー定式化の両方を提供する。 提案アルゴリズムは, MuJoCo 環境と MinAtar 環境においてPPO と StreamQ の両方より優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-12T00:12:05Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Diffusion Policies creating a Trust Region for Offline Reinforcement Learning [66.17291150498276]
  本稿では,拡散信頼型Q-Learning (DTQL) という2つの政策アプローチを導入する。 DTQLは、トレーニングと推論の両方において反復的なデノレーションサンプリングの必要性を排除し、計算的に極めて効率的である。 DTQLは、D4RLベンチマークタスクの大部分において、他のメソッドよりも優れているだけでなく、トレーニングや推論速度の効率性も示すことができる。
  論文  参考訳（メタデータ） (2024-05-30T05:04:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。