論文の概要: NavRL++: A System-Level Framework for Improving Sim-to-Real Transfer in Reinforcement Learning-Based Robot Navigation

• arxiv url: http://arxiv.org/abs/2605.15559v1
• Date: Fri, 15 May 2026 02:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 17:44:16.296692
• Title: NavRL++: A System-Level Framework for Improving Sim-to-Real Transfer in Reinforcement Learning-Based Robot Navigation
• Title（参考訳）: NavRL++:強化学習型ロボットナビゲーションにおけるシム・トゥ・リール転送改善のためのシステムレベルフレームワーク
• Authors: Zhefan Xu, Hanyu Jin, Kenji Shimada,
• Abstract要約: 我々は、強化学習に基づくナビゲーションのための完全なトレーニングおよびデプロイメントパイプラインを提案する。 我々は、センサノイズ、知覚障害、システム遅延、制御応答など、強化学習に基づくナビゲーションにおけるsim-to-real転送に影響を及ぼす重要な要因を解消する。 本稿では,トランスファーロバスト性を改善するトレーニング後適応戦略である摂動認識ファインチューニングを提案する。
• 参考スコア（独自算出の注目度）: 9.168410028117089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed significant progress in autonomous navigation using reinforcement learning. However, existing approaches largely emphasize reinforcement learning framework design, such as input representations, action spaces, and reward functions, while providing limited analysis of sim-to-real transfer and insufficient insight into how training strategies affect real-world deployment performance. To bridge this gap, we not only introduce an effective RL framework but also present a complete training and deployment pipeline, along with a systematic empirical study that disentangles the key factors affecting sim-to-real transfer in reinforcement learning-based navigation, including sensor noise, perception failures, system latency, and control response. Building on insights from this analysis, we introduce perturbation-aware fine-tuning, a post-training adaptation strategy that improves transfer robustness by explicitly accounting for empirically identified domain discrepancies. To further mitigate perception degradation and enhance control smoothness in real-world deployment, we propose a Transformer-based temporal reasoning policy that leverages short-horizon observation for navigation control. We quantitatively evaluate how individual sim-to-real perturbations and training design choices impact navigation performance across environments. Experimental results demonstrate that the proposed training strategy and policy architecture outperform learning-based baselines in both static and dynamic environments, while achieving performance comparable to optimization-based planners in static settings. We validate our approach through real-world deployment on multiple robotic platforms, including aerial and legged robots, across navigation-centric tasks such as exploration and inspection, demonstrating zero-shot sim-to-real transfer.
• Abstract（参考訳）: 近年では、強化学習を用いた自律航法が大幅に進歩している。 しかし、既存のアプローチは、入力表現、アクションスペース、報酬関数などの強化学習フレームワーク設計に重点を置いている。 このギャップを埋めるために、我々は効果的なRLフレームワークを導入するだけでなく、システム遅延、制御応答など、強化学習に基づくナビゲーションにおけるsim-to-real転送に影響を及ぼす重要な要因を解消する、体系的な実証的研究とともに、完全なトレーニングとデプロイメントパイプラインも導入する。 この分析から得られた知見に基づき、経験的に特定された領域の矛盾を明示的に考慮し、伝達ロバスト性を改善する訓練後適応戦略である摂動認識微調整を導入する。 実世界の展開における知覚の劣化を緩和し、制御のスムーズさを高めるために、ナビゲーション制御に短地観測を利用するTransformerベースの時間的推論ポリシーを提案する。 本研究では,シミュレート・トゥ・リアルな摂動とトレーニング設計の選択が環境間のナビゲーション性能に与える影響を定量的に評価する。 実験の結果,提案手法は静的環境と動的環境の両方において学習ベースラインより優れており,静的環境において最適化ベースプランナに匹敵する性能を実現していることがわかった。 我々は、空中および脚のあるロボットを含む複数のロボットプラットフォームへの現実的な展開を通じて、探索や検査、ゼロショット・シミュレート・トゥ・リアル・トランスファーの実証など、ナビゲーション中心のタスクを通じて、我々のアプローチを検証する。

関連論文リスト

• Digital Twin Supervised Reinforcement Learning Framework for Autonomous Underwater Navigation [0.0]
  本稿では,科学実験に広く利用されているオープンプラットフォームであるBlueROV2の事例を通して,課題を考察する。 本稿では,PPOアルゴリズムに基づく深層強化学習手法を提案する。 以上の結果から, PPO政策は高度に乱雑な環境でのDWAを一貫して上回っていることが示唆された。
  論文  参考訳（メタデータ） (2025-12-11T18:52:42Z)
• From Seeing to Experiencing: Scaling Navigation Foundation Models with Reinforcement Learning [59.88543114325153]
  本稿では,航法基礎モデルの強化学習能力を高めるためのSeeing-to-Experiencingフレームワークを提案する。 S2Eは、ビデオの事前トレーニングとRLによるポストトレーニングの長所を組み合わせたものだ。 実世界のシーンを3DGSで再現した3D画像に基づく総合的なエンドツーエンド評価ベンチマークであるNavBench-GSを構築した。
  論文  参考訳（メタデータ） (2025-07-29T17:26:10Z)
• Situationally-Aware Dynamics Learning [57.698553219660376]
  隠れ状態表現のオンライン学習のための新しいフレームワークを提案する。 提案手法は、非観測パラメータが遷移力学と報酬構造の両方に与える影響を明示的にモデル化する。 シミュレーションと実世界の両方の実験は、データ効率、ポリシー性能、安全で適応的なナビゲーション戦略の出現を著しく改善した。
  論文  参考訳（メタデータ） (2025-05-26T06:40:11Z)
• A General Infrastructure and Workflow for Quadrotor Deep Reinforcement Learning and Reality Deployment [48.90852123901697]
  本稿では, エンドツーエンドの深層強化学習(DRL)ポリシーを四元数へシームレスに移行できるプラットフォームを提案する。 本プラットフォームは, ホバリング, 動的障害物回避, 軌道追尾, 気球打上げ, 未知環境における計画など, 多様な環境を提供する。
  論文  参考訳（メタデータ） (2025-04-21T14:25:23Z)
• Vision-Based Deep Reinforcement Learning of UAV Autonomous Navigation Using Privileged Information [6.371251946803415]
  DPRLは、部分的に観測可能な環境下での高速無人無人飛行の課題に対処するために設計されたエンドツーエンドのポリシーである。 非対称なアクター・クライブアーキテクチャを利用して、トレーニング中にエージェントに特権情報を提供する。 我々は、DPRLアルゴリズムを最先端のナビゲーションアルゴリズムと比較し、様々なシナリオにまたがって広範なシミュレーションを行う。
  論文  参考訳（メタデータ） (2024-12-09T09:05:52Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Sim-Anchored Learning for On-the-Fly Adaptation [45.123633153460034]
  実世界のデータを持つ微調整シミュレーション訓練されたRLエージェントは、制限されたデータ分布や歪んだデータ分布のために重要な振る舞いを劣化させることが多い。 シミュレーションと現実の両方において政策目標を満たさなければならない多目的最適化問題として、フレーミングライブ適応を提案する。
  論文  参考訳（メタデータ） (2023-01-17T16:16:53Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。