論文の概要: X-NavDP: Generalizing Navigation Diffusion Policy to Novel Behavior and Embodiments with Group Q-score Reweighted Matching

• arxiv url: http://arxiv.org/abs/2607.28560v1
• Date: Thu, 30 Jul 2026 17:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.691068
• Title: X-NavDP: Generalizing Navigation Diffusion Policy to Novel Behavior and Embodiments with Group Q-score Reweighted Matching
• Title（参考訳）: X-NavDP:グループQスコア再重み付けによる新しい行動・身体へのナビゲーション拡散政策の一般化
• Abstract要約: ナビゲーション拡散ポリシーの事前訓練は、大規模な専門家によるデモンストレーションに依存する。 本稿では,データ効率のよい拡散RLポストトレーニングフレームワークであるGQRMを提案する。 異種エボディメント間の分散オンラインRLトレーニングを行うことで、細調整されたポリシーであるX-NavDPは、最先端のクロスボディメント視覚ナビゲーション性能を実現する。
• 参考スコア（独自算出の注目度）: 40.58294819643394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining navigation diffusion policies rely on large-scale expert demonstrations. These data are typically generated by a fully-informed oracle planner suited to a single nominal robot. This limits the policy's generalization to diverse embodiments and challenging scenarios (e.g., escaping dead ends or detouring long obstacles) that demand diverse local reactive behaviors with only onboard local observations. Post-training the policy with reinforcement learning (RL) offers a principled remedy. However, previous RL for diffusion approaches lead to only marginal improvements. This is because the intractable likelihood of diffusion policies renders policy gradients unstable in addition to inefficient policy exploration. To address these challenges, we propose a data-efficient diffusion RL post-training framework - GQRM (Group Q-score Reweighted Matching). Our framework introduces two complementary designs: (i) a self-bootstrapped exploration strategy with behavior perturbation that preserves the pretrained policy prior, and (ii) a group Q-score normalization mechanism that computes per-trajectory values on each state for efficient reweighted score matching. By conducting distributed online RL training across heterogeneous embodiments, the resulting fine-tuned policy, X-NavDP, achieves state-of-the-art cross-embodiment visual navigation performance, improving the overall success rate from 61.20% to 84.28% in simulation and 10% to 65% in real-world hard cases. The code and model are publicly available at https://yty-sky.github.io/x-navdp-project-page.
• Abstract（参考訳）: ナビゲーション拡散ポリシーの事前訓練は、大規模な専門家によるデモンストレーションに依存する。 これらのデータは典型的には、単一の名義ロボットに適した完全にインフォームされたオラクルプランナーによって生成される。 これにより、政策の一般化は、局地的な観察のみで多様な局所的な反応行動を要求する多様な実施形態や挑戦的なシナリオ(例えば、死の端を逃れたり、長い障害を回避したり)に制限される。 強化学習(RL)による政策の訓練後、原則化された治療法を提供する。 しかし、拡散アプローチの以前のRLは限界改善にしか至らなかった。 これは、拡散政策の難易度が、非効率な政策探索に加えて、政策勾配を不安定にするからである。 これらの課題に対処するために,GQRM (Group Q-score Reweighted Matching) というデータ効率の拡散RLポストトレーニングフレームワークを提案する。 我々のフレームワークは2つの相補的な設計を導入している。 一 事前訓練した政策を前もって維持する行動摂動を伴う自己資金による探究戦略 (i) 効率的な再重み付けスコアマッチングのために各状態の軌跡ごとの値を計算するグループQスコア正規化機構。 不均一な実施形態で分散オンラインRLトレーニングを行うことで、X-NavDPは最先端のクロスボディーの視覚ナビゲーション性能を達成し、シミュレーションで61.20%から84.28%、現実のハードケースで10%から65%に改善した。 コードとモデルはhttps://yty-sky.github.io/x-navdp-project-pageで公開されている。

関連論文リスト

• Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning [22.708956698352704]
  Clipped Objective (POCO) は、ポリシー改善を時間的アクションチャンクに適した後部推論問題として定式化する原則的なRLフレームワークである。 POCOは破滅的な政策崩壊を防ぎ、SOTAベースラインを上回り、現実世界のタスクで96.7%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-04-02T10:15:47Z)
• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards [47.557539197058496]
  逆推論のためのランダムポリシー評価(ROVER)について紹介する。 ROVERは、一様政体Q値上のソフトマックスから作用をサンプリングする最小限だが高効率なRL法である。 textbfquality(textbf+8.2 on pass@1, textbf+16.8 on pass@256)と textbfdiversity(textbf+17.6%)の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-09-29T16:09:07Z)
• GenPO: Generative Diffusion Models Meet On-Policy Reinforcement Learning [34.25769740497309]
  GenPOは、正確な拡散反転を利用して、可逆なアクションマッピングを構築する、生成ポリシー最適化フレームワークである。 GenPOは、大規模な並列化トレーニングと実世界のロボット展開の可能性を解き放ち、拡散ポリシーをオンプレミスのRLにうまく統合する最初の方法である。
  論文  参考訳（メタデータ） (2025-05-24T15:57:07Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning [1.7205106391379026]
  近年の拡散政策における状態再構成特徴学習を取り入れた新しい手法を提案する。 本手法は,OOD状態による分散シフトを軽減するために,一般化可能な状態表現の学習を促進する。
  論文  参考訳（メタデータ） (2023-07-10T17:34:23Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。