論文の概要: MergeOcc: Bridge the Domain Gap between Different LiDARs for Robust Occupancy Prediction
- arxiv url: http://arxiv.org/abs/2403.08512v2
- Date: Mon, 19 Aug 2024 02:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 03:27:41.867630
- Title: MergeOcc: Bridge the Domain Gap between Different LiDARs for Robust Occupancy Prediction
- Title（参考訳）: MergeOcc: 異なるLiDAR間のドメインギャップを橋渡しして,ロバストな実行予測を実現する
- Authors: Zikun Xu, Jianqiang Wang, Shaobing Xu,
- Abstract要約: MergeOccは、複数のデータセットを活用することで、異なるLiDARを同時に扱うように開発されている。
MergeOccの有効性は、自動運転車のための2つの顕著なデータセットの実験を通じて検証される。
- 参考スコア（独自算出の注目度）: 8.993992124170624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDAR-based 3D occupancy prediction evolved rapidly alongside the emergence of large datasets. Nevertheless, the potential of existing diverse datasets remains underutilized as they kick in individually. Models trained on a specific dataset often suffer considerable performance degradation when deployed to real-world scenarios or datasets involving disparate LiDARs. This paper aims to develop a generalized model called MergeOcc, to simultaneously handle different LiDARs by leveraging multiple datasets. The gaps among LiDAR datasets primarily manifest in geometric disparities and semantic inconsistencies. Thus, MergeOcc incorporates a novel model featuring a geometric realignment module and a semantic label mapping module to enable multiple datasets training (MDT). The effectiveness of MergeOcc is validated through experiments on two prominent datasets for autonomous vehicles: OpenOccupancy-nuScenes and SemanticKITTI. The results demonstrate its enhanced robustness and remarkable performance across both types of LiDARs, outperforming several SOTA multi-modality methods. Notably, despite using an identical model architecture and hyper-parameter set, MergeOcc can significantly surpass the baseline due to its exposure to more diverse data. MergeOcc is considered the first cross-dataset 3D occupancy prediction pipeline that effectively bridges the domain gap for seamless deployment across heterogeneous platforms.
- Abstract（参考訳）: LiDARベースの3D占有予測は、大規模なデータセットの出現とともに急速に進化した。
それでも、既存の多様なデータセットの可能性は、個別に起動する際には、未利用のままである。
特定のデータセットでトレーニングされたモデルは、現実のシナリオや異なるLiDARを含むデータセットにデプロイすると、かなりパフォーマンスが低下することが多い。
本稿では,MergeOccと呼ばれる汎用モデルを開発し,複数のデータセットを活用することで,異なるLiDARを同時に扱うことを目的とする。
LiDARデータセット間のギャップは、主に幾何学的相違と意味的不整合を示す。
このように、MergeOccは幾何再構成モジュールとセマンティックラベルマッピングモジュールを特徴とする新しいモデルを導入し、複数のデータセットのトレーニング(MDT)を可能にする。
MergeOccの有効性は、自動運転車のための2つの顕著なデータセット(OpenOccupancy-nuScenesとSemanticKITTI)の実験を通じて検証されている。
その結果, 両タイプのLiDARにおいて, 強靭性および顕著な性能を示し, 複数種類のSOTAマルチモーダリティ法より優れていた。
特に、同じモデルアーキテクチャとハイパーパラメータセットを使用しているにもかかわらず、MergeOccは、より多様なデータに曝されるため、ベースラインを大幅に上回ることができる。
MergeOccは、異種プラットフォーム間のシームレスなデプロイのためにドメインギャップを効果的に橋渡しする、最初のクロスデータセットな3D占有予測パイプラインだと考えられている。
関連論文リスト
- Uni$^2$Det: Unified and Universal Framework for Prompt-Guided Multi-dataset 3D Detection [64.08296187555095]
Uni$2$Detは3D検出のための統一的で普遍的なマルチデータセットトレーニングのためのフレームワークである。
マルチデータセット3D検出のためのマルチステージプロンプトモジュールを提案する。
ゼロショットクロスデータセット転送の結果は,提案手法の一般化能力を検証する。
論文 参考訳（メタデータ） (2024-09-30T17:57:50Z) - Multi-Space Alignments Towards Universal LiDAR Segmentation [50.992103482269016]
M3Netはマルチタスク、マルチデータセット、マルチモダリティのLiDARセグメンテーションを実現するための1対1のフレームワークである。
まず、さまざまなシーンから異なるタイプのセンサーによって取得された大規模な運転データセットを組み合わせる。
次に、トレーニング中にデータ、特徴、ラベル空間という3つの空間でアライメントを行います。
論文 参考訳（メタデータ） (2024-05-02T17:59:57Z) - An improved tabular data generator with VAE-GMM integration [9.4491536689161]
本稿では,現在のアプローチの限界に対処する新しい変分オートエンコーダ(VAE)モデルを提案する。
本手法は,TVAEモデルにインスパイアされたベイジアン・ガウス混合モデル(BGM)をVAEアーキテクチャに組み込む。
我々は,2つの医療関連データセットを含む混合データ型を持つ実世界の3つのデータセットに対して,我々のモデルを徹底的に検証する。
論文 参考訳（メタデータ） (2024-04-12T12:31:06Z) - Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文 参考訳（メタデータ） (2024-03-11T14:07:53Z) - DGInStyle: Domain-Generalizable Semantic Segmentation with Image Diffusion Models and Stylized Semantic Control [68.14798033899955]
大規模で事前訓練された潜伏拡散モデル(LDM)は、創造的コンテンツを生成できる異常な能力を示した。
しかし、それらは例えば、セマンティックセグメンテーションのような知覚スタックのタスクを改善するために、大規模なデータジェネレータとして使用できますか?
自律運転の文脈でこの疑問を考察し、「はい」という言い換えで答える。
論文 参考訳（メタデータ） (2023-12-05T18:34:12Z) - Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training [44.790636524264]
ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。
シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。
教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-08-18T17:59:57Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳（メタデータ） (2023-03-23T17:59:02Z) - Shared Manifold Learning Using a Triplet Network for Multiple Sensor
Translation and Fusion with Missing Data [2.452410403088629]
コントラスト学習に基づくマルチモーダルアライメントネットワーク(CoMMANet)を提案する。
提案アーキテクチャでは,マルチモーダルな三重項オートエンコーダを用いて,各不均一なモジュラリティの同一クラスのサンプルが互いに近接してマッピングされるように潜在空間をクラスタリングする。
論文 参考訳（メタデータ） (2022-10-25T20:22:09Z) - AVIDA: Alternating method for Visualizing and Integrating Data [1.6637373649145604]
AVIDAはデータアライメントと次元削減を同時に行うためのフレームワークである。
AVIDAは特徴のない高次元データセットを正しく整列することを示す。
一般の応用では、アライメントおよび次元減少加群に他の方法を用いることができる。
論文 参考訳（メタデータ） (2022-05-31T22:36:10Z) - Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。
クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。
MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
論文 参考訳（メタデータ） (2021-06-08T00:30:43Z) - Multimodal Remote Sensing Benchmark Datasets for Land Cover
Classification with A Shared and Specific Feature Learning Model [36.993630058695345]
マルチモーダルRSデータをモダリティ共有およびモダリティ固有成分に分解するための共有特徴学習(S2FL)モデルを提案する。
マルチモーダルベースラインと新たに提案されたS2FLモデルを評価するために、3つのマルチモーダルRSベンチマークデータセット、すなわちHouston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic Aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, digital surface model (DSM) dataがリリースされ、土地被覆分類に使用される。
論文 参考訳（メタデータ） (2021-05-21T08:14:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。