論文の概要: DPDP: Diffusion Policy-Steered Diffusion Planner for Offline Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.10993v1
- Date: Sat, 07 Nov 2026 22:25:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.876215
- Title: DPDP: Diffusion Policy-Steered Diffusion Planner for Offline Reinforcement Learning
- Title(参考訳): DPDP:オフライン強化学習のための拡散政策ステアリング拡散プランナ
- Abstract要約: オフライン強化学習では、拡散モデルは相補的な強みで2つの役割を補う。
拡散プランナーは、このような長い水平軌道を合成するが、実行時にのみ振る舞い駆動である。
我々はDPDPを導入し、計画された移行がアクションとなるプランナーの実行ステップでそれらをまとめる。
- 参考スコア(独自算出の注目度): 53.116560756167964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In offline reinforcement learning, diffusion models fill two roles with complementary strengths. Typically guided by a critic, a diffusion policy is value-aware and favors high-return, behavior-supported actions, but it is short-sighted: it never lays out the states it intends to visit. A diffusion planner is far-sighted, synthesizing such a long-horizon trajectory, but it is only behavior-driven at execution, realizing each planned transition using only offline behavior.Each is strong exactly where the other is weak. We introduce DPDP to bring them together at the planner's execution step, where a planned transition becomes an action. Reading the planner's inverse-dynamics executor as a posterior over actions: the environment's transition likelihood relates an action to the planned next state, while the behavioral prior determines its weight under the offline data. Replacing this prior with a value-optimized diffusion policy preserves the planned transition likelihood and favors valuable actions that can serve the plan. We target the resulting clean-action distribution in two ways. A training-free sampler composes policy and inverse-dynamics scores at matched action noise levels and applies Langevin correction; this route uses a shared action noise schedule and an approximately common terminal prior. A preference objective instead amortizes the transfer into a single diffusion executor. Across D4RL, DPDP improves the planner it builds on, staying competitive with reactive diffusion policies on locomotion and leading on long-horizon navigation.
- Abstract(参考訳): オフライン強化学習では、拡散モデルは相補的な強みで2つの役割を補う。
一般的には批評家によって導かれ、拡散政策は価値を意識し、ハイリターンで行動支援された行動を好むが、それは近視的である。
拡散プランナーは、そのような長い水平軌道を合成するが、実行時にのみ振る舞い駆動であり、オフライン動作のみを使用して、計画された各遷移を実現する。
我々はDPDPを導入し、計画された移行がアクションとなるプランナーの実行ステップでそれらをまとめる。
プランナーの逆力学エグゼキュータをアクションの後方として読み取る:環境の遷移確率は、計画された次の状態にアクションを関連付けるが、行動の事前は、オフラインデータの下でその重みを決定する。
事前を価値最適化拡散政策で置き換えることによって、計画された移行可能性を維持し、計画に役立てられる価値のある行動を好む。
結果のクリーンアクション分布を2つの方法で目標とする。
トレーニング不要なサンプリング器は、一致した動作ノイズレベルにおけるポリシーと逆力学スコアを構成し、ランゲヴィン補正を適用し、この経路は、共有動作ノイズスケジュールと、約共通の端末を使用する。
優先目的は、代わりに単一の拡散エグゼキュータへの転送を償却する。
D4RL全体で、DPDPは構築するプランナーを改善し、ロコモーションに対する反応性拡散ポリシーと競合し、長距離ナビゲーションに導く。
関連論文リスト
- DiPLO: Self-distilled Diffusion Planning for Loco-manipulation [74.87006435472303]
DiPLOは、自己蒸留拡散プランナーと低レベルの全身追跡ポリシーを組み合わせたフレームワークである。
我々のプランナーは人-人-人-の運動の教師あり学習によって事前訓練される。
結果のプランナーは、未確認の目標に対する動きも生成し、キックとプッシュ/プルタスクに関するさらなる評価を行う。
論文 参考訳(メタデータ) (2026-10-17T19:51:59Z) - G2DP: Diffusion Planning with Spatio-Temporal Grid Guidance [44.0166619948181]
自律運転において、拡散に基づくプランナーは、密集した対話的な交通におけるロバストな動き計画のための有望なパラダイムとして現れてきた。
既存のガイダンスは、通常、スパースでエンティティ中心の幾何学的クエリやポストホックの洗練に依存し、インタラクティブなシーンにおいて限られた認識と脆弱なパフォーマンスをもたらす。
G2DP(GuidedGrid-Guided Planning)は,経路時マップによる確率的将来の占領指導を融合させることにより,時間的費用の変動を図っている。
nuPlanの最先端のパフォーマンスを達成し、リアクティブトランスファーにおいて、最強の模倣学習ベースラインを+7.2ポイント上回る。
論文 参考訳(メタデータ) (2026-06-24T16:38:55Z) - DiPOD: Diffusion Policy Optimization without Drifting Apart [88.2714417395158]
RLポストトレーニングは、拡散政策を改善するためにますます重要になっている。
既存の拡散政策段階的な手法はしばしば不安定であり、信頼性の高い政策改善を達成できない。
本稿では,トレーニングを通じて厳密な動作を維持する拡散ポリシー最適化フレームワークbftextDiPODを提案する。
論文 参考訳(メタデータ) (2026-06-11T18:06:04Z) - Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation [91.20850436220267]
Referring-Aware Visuomotor Policy(ReV)について紹介する。
ReVは、人間または高レベルの推論プランナーによって提供されるスパース参照ポイントを組み込む。
これは、専門家のデモンストレーションにターゲットの摂動を適用することでのみ訓練される。
論文 参考訳(メタデータ) (2026-04-07T07:41:11Z) - Amortizing Trajectory Diffusion with Keyed Drift Fields [2.5352713493505785]
キード・ドリフト・ポリシーズ (Keyed Drifting Policies) は、ドリフトフィールドの目標で訓練された1ステップの軌道生成装置である。
生成されたトラジェクトリを条件マッチングされたデータセットウィンドウに反映する。
1ステップの推論で高い性能を達成し、拡散サンプリングよりも計画遅延を大幅に低減する。
論文 参考訳(メタデータ) (2026-03-14T17:56:15Z) - RAPiD: Real-time Deterministic Trajectory Planning via Diffusion Behavior Priors for Safe and Efficient Autonomous Driving [5.030754278104693]
RAPiDは、事前訓練された拡散型プランナーを効率的なポリシーに蒸留する決定論的政策抽出フレームワークである。
安全と乗客の快適性を促進するため、予測ドライバコントローラを模倣するように訓練された評論家を用いてポリシーを最適化する。
論文 参考訳(メタデータ) (2026-02-07T03:44:50Z) - The Cognitive Bandwidth Bottleneck: Shifting Long-Horizon Agent from Planning with Actions to Planning with Schemas [56.62286434195321]
本稿では2つの異なる行動表現の有効性を体系的に研究する。
本稿では,その違いを質的に理解するための概念的枠組みとして,認知的帯域幅の観点を提案する。
より有能なPwSエージェントを構築するための実用的なガイドを提供する。
論文 参考訳(メタデータ) (2025-10-08T14:47:40Z) - DAgger Diffusion Navigation: DAgger Boosted Diffusion Policy for Vision-Language Navigation [73.80968452950854]
Vision-Language Navigation in Continuous Environments (VLN-CE) は、エージェントが自由形式の3D空間を通して自然言語の指示に従う必要がある。
既存のVLN-CEアプローチは通常、2段階のウェイポイント計画フレームワークを使用する。
本稿では,エンドツーエンド最適化VLN-CEポリシとしてDAgger Diffusion Navigation (DifNav)を提案する。
論文 参考訳(メタデータ) (2025-08-13T02:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。