論文の概要: Learning autonomous driving from aerial imagery

• arxiv url: http://arxiv.org/abs/2410.14177v1
• Date: Fri, 18 Oct 2024 05:09:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:27.061836
• Title: Learning autonomous driving from aerial imagery
• Title（参考訳）: 航空画像から自律走行を学習する
• Authors: Varun Murali, Guy Rosman, Sertac Karaman, Daniela Rus,
• Abstract要約: フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
• 参考スコア（独自算出の注目度）: 67.06858775696453
• License:
• Abstract: In this work, we consider the problem of learning end to end perception to control for ground vehicles solely from aerial imagery. Photogrammetric simulators allow the synthesis of novel views through the transformation of pre-generated assets into novel views.However, they have a large setup cost, require careful collection of data and often human effort to create usable simulators. We use a Neural Radiance Field (NeRF) as an intermediate representation to synthesize novel views from the point of view of a ground vehicle. These novel viewpoints can then be used for several downstream autonomous navigation applications. In this work, we demonstrate the utility of novel view synthesis though the application of training a policy for end to end learning from images and depth data. In a traditional real to sim to real framework, the collected data would be transformed into a visual simulator which could then be used to generate novel views. In contrast, using a NeRF allows a compact representation and the ability to optimize over the parameters of the visual simulator as more data is gathered in the environment. We demonstrate the efficacy of our method in a custom built mini-city environment through the deployment of imitation policies on robotic cars. We additionally consider the task of place localization and demonstrate that our method is able to relocalize the car in the real world.
• Abstract（参考訳）: 本研究では,航空画像のみから地上車両を制御するために,エンド・ツー・エンドの認識を学習する問題を考察する。 フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することで、新しいビューを合成することができるが、セットアップコストが大きく、注意深いデータ収集と、使用可能なシミュレータを作成するためにしばしば人的努力が必要である。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。 これらの新しい視点は、下流の自律ナビゲーションアプリケーションに使用できる。 本研究では,画像と深度データからエンド・ツー・エンドの学習方針を訓練する一方で,新しいビュー合成の有用性を実証する。 実際のフレームワークにシミュレートする従来のリアルでは、収集されたデータはビジュアルシミュレータに変換され、新しいビューを生成するのに使用できる。 対照的に、NeRFを使用することで、より多くのデータが環境に収集されるにつれて、コンパクトな表現と視覚シミュレータのパラメータを最適化することができる。 ロボット車への模倣ポリシーの展開を通じて, カスタマイズされたミニ都市環境における本手法の有効性を実証する。 また,位置定位化の課題を考察し,実世界における車の位置を再現できることを実証する。

関連論文リスト

• Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
  我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。 物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。 実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
  論文  参考訳（メタデータ） (2023-11-09T18:58:22Z)
• Car-Studio: Learning Car Radiance Fields from Single-View and Endless In-the-wild Images [16.075690774805622]
  本稿では,制約のない画像の学習と,処理された画像からのデータセット構築のためのパイプラインを提案する。 シミュレータの要件を満たすため,都市景観の重要部分である車両の放射場を設計する。 In-the-wild画像から構築したデータセットを用いて、制御可能な外観編集機能を徐々に提示する。
  論文  参考訳（メタデータ） (2023-07-26T07:44:34Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• Data generation using simulation technology to improve perception mechanism of autonomous vehicles [0.0]
  実世界から収集したデータと模擬世界から生成されたデータを組み合わせることで、認識システムを訓練する効果を実証する。 また,人間の学習体験をエミュレートすることを目的とした多段階深層学習知覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:42:33Z)
• VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles [131.2240621036954]
  VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。 高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。 センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
  論文  参考訳（メタデータ） (2021-11-23T18:58:10Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。