論文の概要: HeightLane: BEV Heightmap guided 3D Lane Detection
- arxiv url: http://arxiv.org/abs/2408.08270v1
- Date: Thu, 15 Aug 2024 17:14:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 13:16:25.667967
- Title: HeightLane: BEV Heightmap guided 3D Lane Detection
- Title（参考訳）: ハイトレーン:BEVのハイトマップが3Dレーン検出をガイド
- Authors: Chaesong Park, Eunbin Seo, Jongwoo Lim,
- Abstract要約: 単分子画像からの正確な3次元車線検出は、深さのあいまいさと不完全な地盤モデリングによる重要な課題を示す。
本研究は,マルチスロープ仮定に基づいてアンカーを作成することにより,単眼画像から高さマップを予測する革新的な手法であるHeightLaneを紹介する。
HeightLaneは、Fスコアの観点から最先端のパフォーマンスを実現し、現実世界のアプリケーションにおけるその可能性を強調している。
- 参考スコア（独自算出の注目度）: 6.940660861207046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate 3D lane detection from monocular images presents significant challenges due to depth ambiguity and imperfect ground modeling. Previous attempts to model the ground have often used a planar ground assumption with limited degrees of freedom, making them unsuitable for complex road environments with varying slopes. Our study introduces HeightLane, an innovative method that predicts a height map from monocular images by creating anchors based on a multi-slope assumption. This approach provides a detailed and accurate representation of the ground. HeightLane employs the predicted heightmap along with a deformable attention-based spatial feature transform framework to efficiently convert 2D image features into 3D bird's eye view (BEV) features, enhancing spatial understanding and lane structure recognition. Additionally, the heightmap is used for the positional encoding of BEV features, further improving their spatial accuracy. This explicit view transformation bridges the gap between front-view perceptions and spatially accurate BEV representations, significantly improving detection performance. To address the lack of the necessary ground truth (GT) height map in the original OpenLane dataset, we leverage the Waymo dataset and accumulate its LiDAR data to generate a height map for the drivable area of each scene. The GT heightmaps are used to train the heightmap extraction module from monocular images. Extensive experiments on the OpenLane validation set show that HeightLane achieves state-of-the-art performance in terms of F-score, highlighting its potential in real-world applications.
- Abstract（参考訳）: 単分子画像からの正確な3次元車線検出は、深さのあいまいさと不完全な地盤モデリングによる重要な課題を示す。
地上をモデル化する以前の試みは、しばしば自由度が制限された平面的な地上仮定を使用しており、様々な斜面を持つ複雑な道路環境には適さない。
本研究は,マルチスロープ仮定に基づいてアンカーを作成することにより,単眼画像から高さマップを予測する革新的な手法であるHeightLaneを紹介する。
このアプローチは、地上の詳細な正確な表現を提供する。
HeightLaneは、変形可能な注意に基づく空間特徴変換フレームワークとともに、予測された高さマップを用いて、2D画像特徴を3D鳥眼視(BEV)特徴に効率よく変換し、空間理解と車線構造認識を強化する。
さらに、ハイトマップは、BEV特徴の位置符号化に使用され、空間的精度をさらに向上する。
この明示的なビュー変換は、正面視知覚と空間的精度の高いBEV表現のギャップを埋め、検出性能を著しく改善する。
元のOpenLaneデータセットにおけるGTの高さマップの欠如に対処するため、Waymoデータセットを活用してLiDARデータを蓄積し、各シーンの乾燥可能な領域の高さマップを生成する。
GTハイトマップは、モノクロ画像からハイトマップ抽出モジュールをトレーニングするために使用される。
OpenLaneの検証セットに関する大規模な実験は、HeightLaneがFスコアの観点から最先端のパフォーマンスを実現し、現実世界のアプリケーションにおけるその可能性を強調していることを示している。
関連論文リスト
- HeightMapNet: Explicit Height Modeling for End-to-End HD Map Learning [22.871397412478274]
本稿では,道路面の高さ分布と画像特徴の動的関係を確立する新しいフレームワークであるHeightMapNetを紹介する。
本研究では,Bird's-Eye-View (BEV) の機能の精度を従来の手法以上の精度で改善する。
HeightMapNetは、挑戦的なnuScenesとArgoverse 2データセットに関する例外的な結果を示している。
論文 参考訳（メタデータ） (2024-11-03T02:35:17Z) - GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。
提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文 参考訳（メタデータ） (2024-05-17T07:31:20Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation [10.898724668444125]
本稿では,車載エゴセントリック画像のみをリアルタイムに利用して,長距離の地形標高マップを予測できる学習型アプローチを提案する。
複雑で非構造的な地形における自律型オフロードロボットナビゲーションへの提案手法の適用性を実験的に検証した。
論文 参考訳（メタデータ） (2024-01-30T22:37:24Z) - CoBEV: Elevating Roadside 3D Object Detection with Depth and Height Complementarity [34.025530326420146]
我々は、新しいエンドツーエンドのモノクロ3Dオブジェクト検出フレームワークであるComplementary-BEVを開発した。
道路カメラを用いたDAIR-V2X-IとRope3Dの公開3次元検出ベンチマークについて広範な実験を行った。
カメラモデルのAPスコアが初めてDAIR-V2X-Iで80%に達する。
論文 参考訳（メタデータ） (2023-10-04T13:38:53Z) - OCTraN: 3D Occupancy Convolutional Transformer Network in Unstructured
Traffic Scenarios [0.0]
我々は2次元画像特徴を3次元占有特徴に変換するために反復アテンションを用いたトランスフォーマーアーキテクチャOCTraNを提案する。
また、LiDARの地上真実の必要性を排除し、任意のシーンにモデルを一般化するための自己教師型トレーニングパイプラインも開発している。
論文 参考訳（メタデータ） (2023-07-20T15:06:44Z) - Vision Transformers, a new approach for high-resolution and large-scale
mapping of canopy heights [50.52704854147297]
分類(離散化)と連続損失関数を最適化した新しい視覚変換器(ViT)モデルを提案する。
このモデルは、従来使用されていた畳み込みベースのアプローチ(ConvNet)よりも、連続損失関数のみで最適化された精度が向上する。
論文 参考訳（メタデータ） (2023-04-22T22:39:03Z) - TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view
Stereo [55.30992853477754]
本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。
ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。
TANDEMは最先端のリアルタイム3D再構成性能を示す。
論文 参考訳（メタデータ） (2021-11-14T19:01:02Z) - ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object
Detection [69.68263074432224]
ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。
ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。
さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
論文 参考訳（メタデータ） (2020-03-01T17:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。