論文の概要: UniLiDAR: Bridge the domain gap among different LiDARs for continual
learning
- arxiv url: http://arxiv.org/abs/2403.08512v1
- Date: Wed, 13 Mar 2024 13:23:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:10:56.830809
- Title: UniLiDAR: Bridge the domain gap among different LiDARs for continual
learning
- Title(参考訳): UniLiDAR: 継続のために異なるLiDAR間のドメインギャップを橋渡しする
学び
- Authors: Zikun Xu, Jianqiang Wang, Shaobing Xu
- Abstract要約: 本稿では,異なるLiDARを扱える統一モデルを開発することを目的とする。
幾何的配向とセマンティックラベルマッピングを利用した占有予測パイプラインUniLiDARを提案する。
UniLiDARは、直接マージされたデータセットでトレーニングされたモデルと比較して、占有率予測のmIoUをそれぞれ15.7%、12.5%上昇させる。
- 参考スコア(独自算出の注目度): 10.10834581581264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDAR-based 3D perception algorithms have evolved rapidly alongside the
emergence of large datasets. Nonetheless, considerable performance degradation
often ensues when models trained on a specific dataset are applied to other
datasets or real-world scenarios with different LiDAR. This paper aims to
develop a unified model capable of handling different LiDARs, enabling
continual learning across diverse LiDAR datasets and seamless deployment across
heterogeneous platforms. We observe that the gaps among datasets primarily
manifest in geometric disparities (such as variations in beams and point
counts) and semantic inconsistencies (taxonomy conflicts). To this end, this
paper proposes UniLiDAR, an occupancy prediction pipeline that leverages
geometric realignment and semantic label mapping to facilitate multiple
datasets training and mitigate performance degradation during deployment on
heterogeneous platforms. Moreover, our method can be easily combined with
existing 3D perception models. The efficacy of the proposed approach in
bridging LiDAR domain gaps is verified by comprehensive experiments on two
prominent datasets: OpenOccupancy-nuScenes and SemanticKITTI. UniLiDAR elevates
the mIoU of occupancy prediction by 15.7% and 12.5%, respectively, compared to
the model trained on the directly merged dataset. Moreover, it outperforms
several SOTA methods trained on individual datasets. We expect our research to
facilitate further study of 3D generalization, the code will be available soon.
- Abstract(参考訳): LiDARベースの3D認識アルゴリズムは、大規模なデータセットの出現とともに急速に進化してきた。
それにもかかわらず、特定のデータセットでトレーニングされたモデルが、異なるLiDARを持つ他のデータセットや実世界のシナリオに適用された場合、大幅なパフォーマンス劣化が発生することが多い。
本稿では,多種多様なLiDARデータセット間の連続的な学習と異種プラットフォーム間のシームレスなデプロイが可能な,異なるLiDARを扱える統一モデルを開発することを目的とする。
データセット間のギャップは、主に幾何学的相違(ビームと点数の変化など)と意味的不整合(タコノミーの衝突)に現れる。
この目的のために,UniLiDARを提案する。UniLiDARは幾何学的階層化とセマンティックラベルマッピングを利用して,異種プラットフォームへの展開時の性能劣化を軽減し,複数のデータセットのトレーニングを容易にする。
さらに,本手法は既存の3次元知覚モデルと容易に組み合わせることができる。
LiDARドメインギャップをブリッジする手法の有効性は、OpenOccupancy-nuScenesとSemanticKITTIの2つの顕著なデータセットで包括的な実験によって検証されている。
UniLiDARは、直接マージされたデータセットでトレーニングされたモデルと比較して、占有率予測のmIoUをそれぞれ15.7%、12.5%上昇させる。
さらに、個々のデータセットでトレーニングされた複数のSOTAメソッドよりも優れています。
我々は、我々の研究が3D一般化のさらなる研究を促進することを期待している。
関連論文リスト
- AlignMiF: Geometry-Aligned Multimodal Implicit Field for LiDAR-Camera
Joint Synthesis [98.3959800235485]
近年,複数のモダリティを単一のフィールド内で探索する手法がいくつか存在しており,異なるモダリティから暗黙的な特徴を共有して再現性能を向上させることを目的としている。
本研究では,LiDAR-カメラ共同合成の多モード暗黙的場に関する包括的解析を行い,その根底にある問題はセンサの誤配にあることを示した。
幾何学的に整合した多モード暗黙の場であるAlignMiFを導入し,2つのモジュール,Geometry-Aware Alignment (GAA) とShared Geometry Initialization (SGI)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:08:47Z) - Joint Distributional Learning via Cramer-Wold Distance [0.7614628596146602]
高次元データセットの共分散学習を容易にするために,クレーマー-ウォルド距離正規化を導入し,クレーマー-ウォルド距離正規化法を提案する。
また、フレキシブルな事前モデリングを可能にする2段階学習手法を導入し、集約後と事前分布のアライメントを改善する。
論文 参考訳(メタデータ) (2023-10-25T05:24:23Z) - SPOT: Scalable 3D Pre-training via Occupancy Prediction for Autonomous
Driving [84.22159537581742]
職業予測は一般表現の学習に有望であることが示されている。
SPOTは、ポイントクラウド拡張にビーム再サンプリング技術を使用し、クラスバランス戦略を適用している。
論文 参考訳(メタデータ) (2023-09-19T11:13:01Z) - Towards Large-scale 3D Representation Learning with Multi-dataset Point
Prompt Training [47.036695270944946]
ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。
シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。
教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-08-18T17:59:57Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳(メタデータ) (2023-03-23T17:59:02Z) - Uni3D: A Unified Baseline for Multi-dataset 3D Object Detection [34.2238222373818]
現在の3Dオブジェクト検出モデルは、単一のデータセット固有のトレーニングとテストのパラダイムに従っている。
本稿では,複数のデータセットから統合された3次元検出器を訓練する作業について検討する。
単純なデータレベルの修正操作と設計された意味レベルの結合・再結合モジュールを利用するUni3Dを提案する。
論文 参考訳(メタデータ) (2023-03-13T05:54:13Z) - LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection [96.63947479020631]
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
論文 参考訳(メタデータ) (2022-03-28T17:59:02Z) - SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural
Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。
具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。
我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文 参考訳(メタデータ) (2020-10-19T09:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。