論文の概要: Generative Range Imaging for Learning Scene Priors of 3D LiDAR Data
- arxiv url: http://arxiv.org/abs/2210.11750v1
- Date: Fri, 21 Oct 2022 06:08:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 16:24:23.447719
- Title: Generative Range Imaging for Learning Scene Priors of 3D LiDAR Data
- Title(参考訳): 3次元LiDARデータの事前学習のための生成範囲イメージング
- Authors: Kazuto Nakashima, Yumi Iwashita, Ryo Kurazume
- Abstract要約: 本稿では,データレベルドメイン転送に適用可能なLiDARレンジ画像の生成モデルを提案する。
LiDAR測定がポイント・バイ・ポイント・レンジ・イメージングに基づくことから,暗黙的な画像表現に基づく生成対向ネットワークを訓練する。
本モデルの有効性と多様性を,ポイントベースおよびイメージベース・オブ・ザ・アーティファクト・ジェネレーティブ・モデルと比較した。
- 参考スコア(独自算出の注目度): 3.9447103367861542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D LiDAR sensors are indispensable for the robust vision of autonomous mobile
robots. However, deploying LiDAR-based perception algorithms often fails due to
a domain gap from the training environment, such as inconsistent angular
resolution and missing properties. Existing studies have tackled the issue by
learning inter-domain mapping, while the transferability is constrained by the
training configuration and the training is susceptible to peculiar lossy noises
called ray-drop. To address the issue, this paper proposes a generative model
of LiDAR range images applicable to the data-level domain transfer. Motivated
by the fact that LiDAR measurement is based on point-by-point range imaging, we
train an implicit image representation-based generative adversarial networks
along with a differentiable ray-drop effect. We demonstrate the fidelity and
diversity of our model in comparison with the point-based and image-based
state-of-the-art generative models. We also showcase upsampling and restoration
applications. Furthermore, we introduce a Sim2Real application for LiDAR
semantic segmentation. We demonstrate that our method is effective as a
realistic ray-drop simulator and outperforms state-of-the-art methods.
- Abstract(参考訳): 3D LiDARセンサーは、自律移動ロボットの堅牢なビジョンには不可欠である。
しかし、LiDARベースの認識アルゴリズムのデプロイは、一貫性のない角分解能や欠落プロパティなどのトレーニング環境とのドメインギャップのために失敗することが多い。
既存の研究では、ドメイン間マッピングを学習することでこの問題に取り組み、転送性はトレーニング構成によって制約され、レイドロップと呼ばれる特殊な損失ノイズの影響を受けやすい。
そこで本研究では,データレベルドメイン転送に適用可能なLiDARレンジ画像の生成モデルを提案する。
また,LDAR測定がポイント・バイ・ポイント・レンジ・イメージングに基づくことから,暗黙的な画像表現に基づく生成対向ネットワークと,異なる光線滴効果を訓練する。
ポイントベースやイメージベースの最先端生成モデルと比較して,モデルの忠実性と多様性を実証する。
アップサンプリングやリカバリのアプリケーションも紹介します。
さらに,LiDARセマンティックセグメンテーションのためのSim2Realアプリケーションを提案する。
本手法は現実的なレイドロップシミュレータとして有効であり,最先端手法よりも優れていることを示す。
関連論文リスト
- LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models [1.1965844936801797]
3D LiDARデータの生成モデリングは、自律移動ロボットに有望な応用をもたらす新たな課題である。
我々は,多種多様かつ高忠実な3Dシーンポイント雲を生成可能な,LiDARデータのための新しい生成モデルR2DMを提案する。
本手法は拡散確率モデル (DDPM) を用いて構築され, 生成モデルフレームワークにおいて顕著な結果が得られた。
論文 参考訳(メタデータ) (2023-09-17T12:26:57Z) - Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。
GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。
BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
論文 参考訳(メタデータ) (2023-04-06T14:33:05Z) - Attention Mechanism for Contrastive Learning in GAN-based Image-to-Image
Translation [3.90801108629495]
本稿では,異なる領域にまたがって高品質な画像を生成可能なGANモデルを提案する。
実世界から取得した画像データと3Dゲームからのシミュレーション画像を用いて、Contrastive Learningを利用してモデルを自己指導的に訓練する。
論文 参考訳(メタデータ) (2023-02-23T14:23:23Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳(メタデータ) (2022-11-21T17:42:42Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳(メタデータ) (2022-09-22T13:12:54Z) - LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection [96.63947479020631]
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
論文 参考訳(メタデータ) (2022-03-28T17:59:02Z) - Supervising Remote Sensing Change Detection Models with 3D Surface
Semantics [1.8782750537161614]
光RGBと地上レベル(AGL)マップペアを用いた共同学習のためのコントラスト表面画像事前学習(CSIP)を提案する。
次に、これらの事前訓練されたモデルをいくつかの建物セグメンテーションおよび変更検出データセット上で評価し、実際に、下流アプリケーションに関連する特徴を抽出することを示す。
論文 参考訳(メタデータ) (2022-02-26T23:35:43Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-01-26T09:21:41Z) - Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing
Simulation-to-Real Domain Shift in LiDAR Bird's Eye View [110.83289076967895]
ドメイン適応プロセス中に関心のある小さなオブジェクトの情報を保存するために,事前の意味分類を用いたサイクガンに基づくbevドメイン適応法を提案する。
生成したBEVの品質は,KITTI 3D Object Detection Benchmarkの最先端3Dオブジェクト検出フレームワークを用いて評価されている。
論文 参考訳(メタデータ) (2021-04-22T12:47:37Z) - Learning to Drop Points for LiDAR Scan Synthesis [5.132259673802809]
3Dシーンのジェネラティブモデリングは、モバイルロボットが信頼できない観察を改善するための重要なトピックです。
点雲に関する既存の研究のほとんどは、小さく均一な密度のデータに焦点を当てている。
移動ロボットで広く使われている3次元LiDAR点雲は、多数の点と様々な密度のために扱いにくい。
本論文では,リアルなLiDARデータを改良した2次元表現として合成する,ジェネレーティブ・アドバーサリ・ネットワークに基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-23T21:53:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。