論文の概要: DR-APO: Decoupled-Representation Advantage-Guided Policy Optimization from Continuous Control to Embodied Navigation

• arxiv url: http://arxiv.org/abs/2610.16618v1
• Date: Mon, 12 Oct 2026 11:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:13:19.942766
• Title: DR-APO: Decoupled-Representation Advantage-Guided Policy Optimization from Continuous Control to Embodied Navigation
• Title（参考訳）: DR-APO: 連続制御から身体ナビゲーションへの非結合表現アドバンテージ誘導政策最適化
• Abstract要約: 本稿では,政策改善を政策表現から切り離したDR-APOを紹介する。 これは、拡散ポリシーとフローマッチングポリシーの両方に対して、ポリシーのみのベストアグリゲートパフォーマンスを達成する。 NavDPのポストトレーニングは、成功率(SR)を70.33%から89.55%に改善し、現実のナビゲーションでは25%から65%に改善した。
• 参考スコア（独自算出の注目度）: 3.566088481125918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy representations in reinforcement learning have expanded beyond Gaussian policies to diffusion and flow-matching based generative policies. However, existing RL methods remain representation-specific, lacking a unified optimization interface for emerging generative policies. In particular, extending likelihood-based objectives to multi-step generative policies couples optimization to their internal generation process, where accumulated likelihood ratios can weaken the update signal. Meanwhile, generative-policy-specific methods often rely on multi-candidate generation and critic-based selection, improving overall return while providing limited improvement to the policy itself. We introduce DR-APO (Decoupled-Representation Advantage-Guided Policy Optimization), which decouples policy improvement from policy representation through advantage-guided target improvement and representation-compatible direct action fitting, providing a shared optimization principle for Gaussian, diffusion, and flow policies. Across five MuJoCo-v5 tasks, DR-APO remains competitive with SAC for Gaussian policies and achieves the best aggregate policy-only performance for both diffusion and flow-matching policies. NavDP post-training improves the Success Rate (SR) from 70.33% to 89.55% in simulation and from 25% to 65% in real-world navigation. These results demonstrate a unified policy-improvement principle across Gaussian, diffusion, and flow policies, from continuous-control learning to embodied-policy post-training.
• Abstract（参考訳）: 強化学習における政策表現は、拡散とフローマッチングに基づく生成ポリシーに対するガウス政策を超えて拡張されている。 しかし、既存のRL法は表現に特有であり、新しい生成ポリシーのための統一的な最適化インタフェースが欠如している。 特に、確率に基づく目的を多段階生成ポリシーに拡張すると、最適化と内部生成プロセスが結合し、蓄積された確率比が更新信号を弱める。 一方、生成型政治固有の手法は、しばしば多候補生成と批判に基づく選択に依存し、政策そのものを限定的に改善しつつ、全体的なリターンを改善している。 DR-APO (Decoupled-Representation Advantage-Guided Policy Optimization) を導入し、ガウス的・拡散的・フロー政策の共通最適化原則を提供する。 5つの MuJoCo-v5 タスクの中で DR-APO はガウス政策において SAC と競合し続けており、拡散ポリシーとフローマッチングポリシーの両方において最高の総合的なパフォーマンスを達成している。 NavDPのポストトレーニングは、成功率(SR)を70.33%から89.55%に改善し、現実のナビゲーションでは25%から65%に改善した。 これらの結果は,ガウス的,拡散的,フロー的政策にまたがる統一的な政策改善の原則を実証する。

関連論文リスト

• DiPOD: Diffusion Policy Optimization without Drifting Apart [88.2714417395158]
  RLポストトレーニングは、拡散政策を改善するためにますます重要になっている。 既存の拡散政策段階的な手法はしばしば不安定であり、信頼性の高い政策改善を達成できない。 本稿では,トレーニングを通じて厳密な動作を維持する拡散ポリシー最適化フレームワークbftextDiPODを提案する。
  論文  参考訳（メタデータ） (2026-06-11T18:06:04Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Forward KL Regularized Preference Optimization for Aligning Diffusion Policies [8.958830452149789]
  拡散政策の学習における中心的な問題は、様々なタスクにおいて、政策の出力と人間の意図を一致させることである。 そこで本稿では,拡散ポリシーを優先事項と整合させる新しいフレームワーク,フォワードKL正規化参照最適化を提案する。 その結果,提案手法は好みとの整合性が優れ,従来の最先端アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-09T13:56:03Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。