論文の概要: MaskedFusion360: Reconstruct LiDAR Data by Querying Camera Features

• arxiv url: http://arxiv.org/abs/2306.07087v1
• Date: Mon, 12 Jun 2023 13:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 14:42:09.863242
• Title: MaskedFusion360: Reconstruct LiDAR Data by Querying Camera Features
• Title（参考訳）: MaskedFusion360:カメラ機能クエリによるLiDARデータ再構成
• Authors: Royden Wagner, Marvin Klemp, Carlos Fernandez Lopez
• Abstract要約: 自動運転アプリケーションでは、LiDARデータは3Dにおける距離に関する正確な情報を提供するが、カメラデータのセマンティック・リッチネスは欠如している。 我々は、LiDARとカメラデータを融合する新しい自己教師方式を、自動運転アプリケーションに導入する。
• 参考スコア（独自算出の注目度）: 11.28654979274464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In self-driving applications, LiDAR data provides accurate information about distances in 3D but lacks the semantic richness of camera data. Therefore, state-of-the-art methods for perception in urban scenes fuse data from both sensor types. In this work, we introduce a novel self-supervised method to fuse LiDAR and camera data for self-driving applications. We build upon masked autoencoders (MAEs) and train deep learning models to reconstruct masked LiDAR data from fused LiDAR and camera features. In contrast to related methods that use birds-eye-view representations, we fuse features from dense spherical LiDAR projections and features from fish-eye camera crops with a similar field of view. Therefore, we reduce the learned spatial transformations to moderate perspective transformations and do not require additional modules to generate dense LiDAR representations. Code is available at: https://github.com/KIT-MRT/masked-fusion-360
• Abstract（参考訳）: 自動運転アプリケーションでは、LiDARデータは3Dにおける距離に関する正確な情報を提供するが、カメラデータのセマンティック・リッチネスは欠如している。 したがって,都市景観の知覚に関する最先端の手法は,両センサタイプからのデータを融合させる。 本研究では,LiDARとカメラデータを融合する新たな自己教師手法を提案する。 我々は、マスク付きオートエンコーダ(MAE)をベースとした深層学習モデルを構築し、融合LiDARとカメラ機能からマスク付きLiDARデータを再構成する。 鳥眼視表現を用いる関連手法とは対照的に,密集した球面ライダー投影から特徴を融合し,同様の視野で魚眼カメラから特徴を抽出した。 したがって、学習した空間変換を中程度の視点変換に還元し、高密度LiDAR表現を生成するために追加のモジュールを必要としない。 https://github.com/KIT-MRT/masked-fusion-360

関連論文リスト

• LiDAR View Synthesis for Robust Vehicle Navigation Without Expert Labels [50.40632021583213]
  我々は、危険な位置で物理的に運転することなく、新しい視点からLiDAR点雲を合成することを提案する。 我々は、LiDARスキャンを入力とし、将来の軌跡を出力として予測するディープラーニングモデルを訓練する。 次に、この予測軌道にウェイポイントコントローラを適用して、エゴ車両のスロットルおよびステアリングラベルを決定する。
  論文  参考訳（メタデータ） (2023-08-02T20:46:43Z)
• UnLoc: A Universal Localization Method for Autonomous Vehicles using LiDAR, Radar and/or Camera Input [51.150605800173366]
  UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。 本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
  論文  参考訳（メタデータ） (2023-07-03T04:10:55Z)
• BEV-MAE: Bird's Eye View Masked Autoencoders for Point Cloud Pre-training in Autonomous Driving Scenarios [51.285561119993105]
  自律運転におけるLiDARに基づく3Dオブジェクト検出のための,効率的なマスク付きオートエンコーダ事前学習フレームワークであるBEV-MAEを提案する。 具体的には、3Dエンコーダ学習特徴表現を導くために,鳥の目視(BEV)誘導マスキング戦略を提案する。 学習可能なポイントトークンを導入し、3Dエンコーダの一貫性のある受容的フィールドサイズを維持する。
  論文  参考訳（メタデータ） (2022-12-12T08:15:03Z)
• SemanticBEVFusion: Rethink LiDAR-Camera Fusion in Unified Bird's-Eye View Representation for 3D Object Detection [14.706717531900708]
  LiDARとカメラは、自律運転における3Dオブジェクト検出に不可欠な2つのセンサーである。 近年の手法では,LiDAR点雲にカメラ機能を持たせた点レベルの融合に焦点が当てられている。 We present SemanticBEVFusion to deep fuse camera features with LiDAR features in an unified BEV representation。
  論文  参考訳（メタデータ） (2022-12-09T05:48:58Z)
• LAPTNet: LiDAR-Aided Perspective Transform Network [0.0]
  本稿では,LiDARとカメラ情報を融合してセマンティックグリッドを生成するアーキテクチャを提案する。 LAPTNetは、カメラプレーンの機能を、シーンの奥行き情報を予測することなく、鳥の目視に関連付けることができる。
  論文  参考訳（メタデータ） (2022-11-14T18:56:02Z)
• Efficient Spatial-Temporal Information Fusion for LiDAR-Based 3D Moving Object Segmentation [23.666607237164186]
  本稿では,LiDAR-MOSの性能向上のために,空間時空間情報とLiDARスキャンの異なる表現モダリティを併用した新しいディープニューラルネットワークを提案する。 具体的には、まず、空間情報と時間情報とを別々に扱うために、レンジ画像に基づくデュアルブランチ構造を用いる。 また、3次元スパース畳み込みによるポイントリファインメントモジュールを使用して、LiDAR範囲の画像とポイントクラウド表現の両方からの情報を融合する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:17Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework [20.842800465250775]
  現在の手法では、LiDARセンサーの点雲をクエリとして利用し、画像空間の機能を活用している。 我々は、カメラストリームがLiDARデータの入力に依存しないBEVFusionと呼ばれる驚くほど単純で斬新な融合フレームワークを提案する。 通常のトレーニング環境下では,我々のフレームワークが最先端の手法を超越していることを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-27T06:58:30Z)
• MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
  本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。 得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。 実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-26T09:21:41Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。