論文の概要: Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation
- arxiv url: http://arxiv.org/abs/2401.17484v2
- Date: Tue, 16 Apr 2024 16:55:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 23:15:44.744328
- Title: Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation
- Title(参考訳): Pixel to Elevation: 自動オフロードナビゲーションのための画像を用いた長距離標高マップの学習
- Authors: Chanyoung Chung, Georgios Georgakis, Patrick Spieler, Curtis Padgett, Shehryar Khattak,
- Abstract要約: 本稿では,車載エゴセントリック画像のみをリアルタイムに利用して,長距離の地形標高マップを予測できる学習型アプローチを提案する。
複雑で非構造的な地形における自律型オフロードロボットナビゲーションへの提案手法の適用性を実験的に検証した。
- 参考スコア(独自算出の注目度): 11.548461090896039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding terrain topology at long-range is crucial for the success of off-road robotic missions, especially when navigating at high-speeds. LiDAR sensors, which are currently heavily relied upon for geometric mapping, provide sparse measurements when mapping at greater distances. To address this challenge, we present a novel learning-based approach capable of predicting terrain elevation maps at long-range using only onboard egocentric images in real-time. Our proposed method is comprised of three main elements. First, a transformer-based encoder is introduced that learns cross-view associations between the egocentric views and prior bird-eye-view elevation map predictions. Second, an orientation-aware positional encoding is proposed to incorporate the 3D vehicle pose information over complex unstructured terrain with multi-view visual image features. Lastly, a history-augmented learn-able map embedding is proposed to achieve better temporal consistency between elevation map predictions to facilitate the downstream navigational tasks. We experimentally validate the applicability of our proposed approach for autonomous offroad robotic navigation in complex and unstructured terrain using real-world offroad driving data. Furthermore, the method is qualitatively and quantitatively compared against the current state-of-the-art methods. Extensive field experiments demonstrate that our method surpasses baseline models in accurately predicting terrain elevation while effectively capturing the overall terrain topology at long-ranges. Finally, ablation studies are conducted to highlight and understand the effect of key components of the proposed approach and validate their suitability to improve offroad robotic navigation capabilities.
- Abstract(参考訳): 長距離での地形トポロジーの理解は、特に高速での航行において、オフロードロボットミッションの成功に不可欠である。
現在幾何学的マッピングに大きく依存しているLiDARセンサーは、より遠くのマッピングでスパース測定を行う。
この課題に対処するために,車載エゴセントリック画像のみをリアルタイムに利用して,長距離の地形標高マップを予測可能な,新しい学習ベースアプローチを提案する。
提案手法は3つの要素から構成される。
まず, トランスフォーマーをベースとしたエンコーダを導入し, エゴセントリックな視線と, 以前の鳥眼の視線高度マップの予測との相互関係を学習する。
第2に,多視点視覚画像特徴を有する複雑な非構造地形上での3次元車両の姿勢認識型位置符号化を提案する。
最後に、下流のナビゲーション作業を容易にするために、標高マップ予測間の時間的整合性を改善するために、歴史を付加した学習可能なマップ埋め込みを提案する。
実世界のオフロード駆動データを用いて,複雑・非構造地形における自律型オフロードロボットナビゲーションの適用性について実験的に検証した。
さらに、この手法は現在の最先端手法と比較して質的かつ定量的に比較される。
大規模フィールド実験により, 地形の高度を正確に予測し, 地形の全体像を長距離で効果的に把握し, ベースラインモデルを超えていることが示された。
最後に,提案手法の重要成分の影響を強調・理解し,オフロードロボットナビゲーション能力を向上させるための適合性を検証するためにアブレーション研究を行った。
関連論文リスト
- UFO: Uncertainty-aware LiDAR-image Fusion for Off-road Semantic Terrain
Map Estimation [2.048226951354646]
本稿では,BEVにおける高密度地形分類図を生成するための学習ベース融合法を提案する。
提案手法は,RGB画像とシングルスイープLiDARスキャンから生成されたセマンティックマップの精度を向上させる。
論文 参考訳(メタデータ) (2024-03-05T04:20:03Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳(メタデータ) (2022-11-15T13:52:41Z) - Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。
本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
論文 参考訳(メタデータ) (2022-07-27T13:16:39Z) - Learning multiobjective rough terrain traversability [0.0]
本研究では, 地形の高分解能地形データと地上車両シミュレーションを用いて, トラバーサビリティの予測を行う手法を提案する。
深層ニューラルネットワークは、局所的なハイトマップと目標速度からトラバーサビリティ対策を予測するために訓練される。
従来は見つからなかったレーザ走査型森林地形のモデルについて検討した。
論文 参考訳(メタデータ) (2022-03-30T14:31:43Z) - ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints [94.60414567852536]
長距離航法には、計画と局所的な移動可能性の推論の両方が必要である。
学習と計画を統合する学習に基づくアプローチを提案する。
ViKiNGは、画像ベースの学習コントローラを利用できる。
論文 参考訳(メタデータ) (2022-02-23T02:14:23Z) - Aerial Images Meet Crowdsourced Trajectories: A New Approach to Robust
Road Extraction [110.61383502442598]
我々は、Cross-Modal Message Propagation Network (CMMPNet)と呼ばれる新しいニューラルネットワークフレームワークを紹介する。
CMMPNetは、モダリティ固有の表現学習のための2つのディープオートエンコーダと、クロスモーダル表現洗練のためのテーラー設計のデュアルエンハンスメントモジュールで構成されている。
実世界の3つのベンチマーク実験により, CMMPNetによる堅牢な道路抽出の有効性が示された。
論文 参考訳(メタデータ) (2021-11-30T04:30:10Z) - Lifelong Topological Visual Navigation [16.41858724205884]
本稿では,生涯ナビゲーション性能を時間とともに向上させるグラフ更新戦略を用いた学習型ビジュアルナビゲーション手法を提案する。
画像に基づくトポロジグラフを構築するためのサンプリングベースの計画アルゴリズムから着想を得た結果,スペーサーグラフはベースライン法に比べてナビゲーション性能が高い。
固定的なトレーニング環境から学習するコントローラとは異なり、ロボットが配置される実環境から比較的小さなデータセットを使ってモデルを微調整できることが示される。
論文 参考訳(メタデータ) (2021-10-16T06:16:14Z) - GANav: Group-wise Attention Network for Classifying Navigable Regions in
Unstructured Outdoor Environments [54.21959527308051]
本稿では,RGB画像から,オフロード地形および非構造環境における安全かつ航行可能な領域を識別する新しい学習手法を提案する。
本手法は,粒度の粗いセマンティックセグメンテーションを用いて,そのナビビリティレベルに基づいて地形分類群を分類する。
RUGD と RELLIS-3D のデータセットを広範囲に評価することにより,我々の学習アルゴリズムがナビゲーションのためのオフロード地形における視覚知覚の精度を向上させることを示す。
論文 参考訳(メタデータ) (2021-03-07T02:16:24Z) - Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。
エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。
われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
論文 参考訳(メタデータ) (2020-08-21T03:16:51Z) - Predicting Semantic Map Representations from Images using Pyramid
Occupancy Networks [27.86228863466213]
単一エンドツーエンドのディープラーニングアーキテクチャを用いて,単分子画像から直接マップを推定する,シンプルで統一的なアプローチを提案する。
提案手法の有効性を,NuScenesとArgoverseデータセット上のいくつかの挑戦的ベースラインに対して評価することで実証する。
論文 参考訳(メタデータ) (2020-03-30T12:39:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。