論文の概要: Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks

• arxiv url: http://arxiv.org/abs/2406.15149v1
• Date: Fri, 21 Jun 2024 13:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 13:22:51.685511
• Title: Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks
• Title（参考訳）: 液体ネットワークを用いた実世界飛行航法へのガウススプラッティング
• Authors: Alex Quach, Makram Chahine, Alexander Amini, Ramin Hasani, Daniela Rus,
• Abstract要約: 本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
• 参考スコア（独自算出の注目度）: 93.38375271826202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulators are powerful tools for autonomous robot learning as they offer scalable data generation, flexible design, and optimization of trajectories. However, transferring behavior learned from simulation data into the real world proves to be difficult, usually mitigated with compute-heavy domain randomization methods or further model fine-tuning. We present a method to improve generalization and robustness to distribution shifts in sim-to-real visual quadrotor navigation tasks. To this end, we first build a simulator by integrating Gaussian Splatting with quadrotor flight dynamics, and then, train robust navigation policies using Liquid neural networks. In this way, we obtain a full-stack imitation learning protocol that combines advances in 3D Gaussian splatting radiance field rendering, crafty programming of expert demonstration training data, and the task understanding capabilities of Liquid networks. Through a series of quantitative flight tests, we demonstrate the robust transfer of navigation skills learned in a single simulation scene directly to the real world. We further show the ability to maintain performance beyond the training environment under drastic distribution and physical environment changes. Our learned Liquid policies, trained on single target manoeuvres curated from a photorealistic simulated indoor flight only, generalize to multi-step hikes onboard a real hardware platform outdoors.
• Abstract（参考訳）: シミュレータは、スケーラブルなデータ生成、柔軟な設計、軌道の最適化を提供するため、自律的なロボット学習のための強力なツールである。 しかし、シミュレーションデータから実世界へ学習した振る舞いの伝達は困難であることが証明され、通常は計算量の多い領域ランダム化法やモデル微調整によって緩和される。 本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 そこで我々はまず,ガウススプラッティングと4次元飛行力学を統合したシミュレータを構築し,その後,液状ニューラルネットワークを用いたロバストナビゲーションポリシーの訓練を行った。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリングの進歩、専門家による実演訓練データの巧妙なプログラミング、およびLiquid Networkのタスク理解能力を組み合わせたフルスタックの模倣学習プロトコルを得る。 一連の定量的飛行試験を通じて, シミュレーションシーンで学んだナビゲーションスキルを実世界に直接移動させることを実証した。 さらに, 大規模分布および物理的環境変化下でのトレーニング環境を超えて, 性能を維持する能力を示す。 我々の学習したLiquidポリシは、光リアルな室内飛行のみからキュレートされた単一のターゲット操作に基づいて訓練され、屋外のハードウェアプラットフォーム上でのマルチステップハイキングに一般化されました。

関連論文リスト

• DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation [35.76143996968696]
  微分可能シミュレータから解析勾配で学習したロコモーションポリシーを実世界へ移動させることが可能であることを示す。 私たちの成功の重要な要因は、情報的勾配と物理的精度を組み合わせたスムーズな接触モデルです。 本物のクアッドペダルロボットが、独自のシミュレーションでトレーニングをした後で、独創的になれるのは、これが初めてだ。
  論文  参考訳（メタデータ） (2024-11-04T15:43:57Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• Residual Physics Learning and System Identification for Sim-to-real Transfer of Policies on Buoyancy Assisted Legged Robots [14.760426243769308]
  本研究では,BALLUロボットのシステム識別による制御ポリシのロバストなシミュレートを実演する。 標準的な教師あり学習の定式化に頼るのではなく、深層強化学習を利用して外部力政策を訓練する。 シミュレーショントラジェクトリと実世界のトラジェクトリを比較することで,改良されたシミュレーション忠実度を解析する。
  論文  参考訳（メタデータ） (2023-03-16T18:49:05Z)
• TrafficBots: Towards World Models for Autonomous Driving Simulation and Motion Prediction [149.5716746789134]
  我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。 動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。 オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
  論文  参考訳（メタデータ） (2023-03-07T18:28:41Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Parallel Reinforcement Learning Simulation for Visual Quadrotor Navigation [4.597465975849579]
  強化学習(Reinforcement Learning、RL)は、ロボットに物理的な世界の中をナビゲートするように教えるエージェントベースのアプローチである。 本稿では,AirSim上に構築された並列学習を効率的に行うシミュレーションフレームワークを提案する。 このフレームワーク上に構築されたApe-Xは、AirSim環境の分散トレーニングを組み込むように修正されている。
  論文  参考訳（メタデータ） (2022-09-22T15:27:42Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• Learning a State Representation and Navigation in Cluttered and Dynamic Environments [6.909283975004628]
  本稿では,四足ロボットによる局所ナビゲーションを実現するための学習ベースのパイプラインを提案する。 ロボットは、環境を明示的にマッピングすることなく、奥行きカメラのフレームに基づいて、安全な場所へ移動することができる。 本システムでは,ノイズの多い奥行き画像の処理が可能であり,訓練中の動的障害物を回避でき,局所的な空間意識を付与できることを示す。
  論文  参考訳（メタデータ） (2021-03-07T13:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。