論文の概要: Just Add $100 More: Augmenting NeRF-based Pseudo-LiDAR Point Cloud for Resolving Class-imbalance Problem

• arxiv url: http://arxiv.org/abs/2403.11573v2
• Date: Wed, 20 Mar 2024 01:13:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 11:32:23.881569
• Title: Just Add $100 More: Augmenting NeRF-based Pseudo-LiDAR Point Cloud for Resolving Class-imbalance Problem
• Title（参考訳）: NRFベースのPseudo-LiDARポイントクラウドを100ドル追加して、クラスバランス問題の解決
• Authors: Mincheol Chang, Siyeong Lee, Jinkyu Kim, Namil Kim,
• Abstract要約: 本稿では,小クラスのミニチュアや現実世界のオブジェクトのサラウンドビューをキャプチャしたビデオから生成された擬似LiDAR点雲を活用することを提案する。 Pseudo Ground Truth Aug (PGT-Aug) と呼ばれるこの手法は, (i) 2D-to-3Dビュー合成モデルを用いたボリューム3Dインスタンス再構成, (ii)LiDAR強度推定によるオブジェクトレベルドメインアライメント, (iii) 地上情報と地図情報からのコンテキスト認識配置のハイブリッド化という3つのステップから構成される。
• 参考スコア（独自算出の注目度）: 12.26293873825084
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Typical LiDAR-based 3D object detection models are trained in a supervised manner with real-world data collection, which is often imbalanced over classes (or long-tailed). To deal with it, augmenting minority-class examples by sampling ground truth (GT) LiDAR points from a database and pasting them into a scene of interest is often used, but challenges still remain: inflexibility in locating GT samples and limited sample diversity. In this work, we propose to leverage pseudo-LiDAR point clouds generated (at a low cost) from videos capturing a surround view of miniatures or real-world objects of minor classes. Our method, called Pseudo Ground Truth Augmentation (PGT-Aug), consists of three main steps: (i) volumetric 3D instance reconstruction using a 2D-to-3D view synthesis model, (ii) object-level domain alignment with LiDAR intensity estimation and (iii) a hybrid context-aware placement method from ground and map information. We demonstrate the superiority and generality of our method through performance improvements in extensive experiments conducted on three popular benchmarks, i.e., nuScenes, KITTI, and Lyft, especially for the datasets with large domain gaps captured by different LiDAR configurations. Our code and data will be publicly available upon publication.
• Abstract（参考訳）: 典型的なLiDARベースの3Dオブジェクト検出モデルは、実世界のデータ収集と教師ありの方法で訓練される。 これに対処するために、データベースから基底真理(GT)LiDAR点をサンプリングし、それらを興味のある場面に貼り付けることで、マイノリティクラスの例を増やすことがよく使われるが、依然として課題が残っている:GTサンプルの配置の柔軟性とサンプルの多様性の制限。 本研究では,小クラスのミニチュアや現実世界の物体の周囲を撮影するビデオから生成した擬似LiDAR点雲を(低コストで)活用することを提案する。 提案手法は, Pseudo Ground Truth Augmentation (PGT-Aug) と呼ばれる3つのステップから構成される。 (i)2D-to-3Dビュー合成モデルを用いたボリューム3Dインスタンス再構成 (ii)LiDAR強度推定とオブジェクトレベル領域アライメント 三 地中情報と地図情報とのハイブリッドな文脈認識配置方法。 我々は,3つの人気のあるベンチマーク,nuScenes,KITTI,Lyftで実施された広範な実験,特に異なるLiDAR構成でキャプチャされた大きなドメインギャップを持つデータセットにおいて,パフォーマンスの向上を通じて,本手法の優位性と汎用性を実証した。 私たちのコードとデータは、公開時に公開されます。

関連論文リスト

• LiOn-XA: Unsupervised Domain Adaptation via LiDAR-Only Cross-Modal Adversarial Training [61.26381389532653]
  LiOn-XAは、LiDAR-Only Cross-Modal (X)学習と3D LiDARポイントクラウドセマンティックセマンティックセグメンテーションのためのAdversarial Trainingを組み合わせた、教師なしドメイン適応(UDA)アプローチである。 3つの現実的適応シナリオに関する実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-10-21T09:50:17Z)
• Approaching Outside: Scaling Unsupervised 3D Object Detection from 2D Scene [22.297964850282177]
  教師なし3次元検出のためのLiDAR-2D Self-paced Learning (LiSe)を提案する。 RGB画像は、正確な2Dローカライゼーションキューを提供するLiDARデータの貴重な補完となる。 本フレームワークでは,適応型サンプリングと弱いモデルアグリゲーション戦略を組み込んだ自己評価学習パイプラインを考案する。
  論文  参考訳（メタデータ） (2024-07-11T14:58:49Z)
• Real-Aug: Realistic Scene Synthesis for LiDAR Augmentation in 3D Object Detection [45.102312149413855]
  生成したデータに対して最大制御性を提供する合成ベースLiDARデータ拡張手法(いわゆるGT-Aug)について検討する。 本稿では,現実的なLiDARスキャンの生成を優先する合成に基づく拡張手法であるReal-Augを提案する。 nuScenes テストセット上で, 最先端の 0.744 NDS と 0.702 mAP を達成する。
  論文  参考訳（メタデータ） (2023-05-22T09:24:55Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)
• LiDAR-CS Dataset: LiDAR Point Cloud Dataset with Cross-Sensors for 3D Object Detection [36.77084564823707]
  ディープラーニングの手法は注釈付きデータに大きく依存しており、ドメインの一般化の問題に直面することが多い。 LiDAR-CSデータセットは、リアルタイムトラフィックにおける3Dオブジェクト検出の領域におけるセンサ関連ギャップに対処する最初のデータセットである。
  論文  参考訳（メタデータ） (2023-01-29T19:10:35Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)
• LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object Detection [96.63947479020631]
  多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。 異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:59:02Z)
• MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
  本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。 得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。 実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-26T09:21:41Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。