論文の概要: TripleMixer: A 3D Point Cloud Denoising Model for Adverse Weather
- arxiv url: http://arxiv.org/abs/2408.13802v1
- Date: Sun, 25 Aug 2024 10:45:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 17:49:53.845589
- Title: TripleMixer: A 3D Point Cloud Denoising Model for Adverse Weather
- Title(参考訳): TripleMixer: 逆気象のための3DポイントクラウドDenoising Model
- Authors: Xiongwei Zhao, Congcong Wen, Yang Wang, Haojie Bai, Wenhao Dou,
- Abstract要約: 雨、霧、雪などの実際の悪天候は、大きな騒音と干渉をもたらす。
既存のデータセットは、限られた天候の多様性と小さなデータセットサイズに悩まされることが多い。
3つのミキサー層からなる新しいポイントクラウドデノナイズモデルTripleMixerを提案する。
- 参考スコア(独自算出の注目度): 6.752848431431841
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LiDAR sensors are crucial for providing high-resolution 3D point cloud data in autonomous driving systems, enabling precise environmental perception. However, real-world adverse weather conditions, such as rain, fog, and snow, introduce significant noise and interference, degrading the reliability of LiDAR data and the performance of downstream tasks like semantic segmentation. Existing datasets often suffer from limited weather diversity and small dataset sizes, which restrict their effectiveness in training models. Additionally, current deep learning denoising methods, while effective in certain scenarios, often lack interpretability, complicating the ability to understand and validate their decision-making processes. To overcome these limitations, we introduce two large-scale datasets, Weather-KITTI and Weather-NuScenes, which cover three common adverse weather conditions: rain, fog, and snow. These datasets retain the original LiDAR acquisition information and provide point-level semantic labels for rain, fog, and snow. Furthermore, we propose a novel point cloud denoising model, TripleMixer, comprising three mixer layers: the Geometry Mixer Layer, the Frequency Mixer Layer, and the Channel Mixer Layer. These layers are designed to capture geometric spatial information, extract multi-scale frequency information, and enhance the multi-channel feature information of point clouds, respectively. Experiments conducted on the WADS dataset in real-world scenarios, as well as on our proposed Weather-KITTI and Weather-NuScenes datasets, demonstrate that our model achieves state-of-the-art denoising performance. Additionally, our experiments show that integrating the denoising model into existing segmentation frameworks enhances the performance of downstream tasks.The datasets and code will be made publicly available at https://github.com/Grandzxw/TripleMixer.
- Abstract(参考訳): LiDARセンサーは、自律運転システムに高解像度の3Dポイントクラウドデータを提供することで、正確な環境認識を可能にする。
しかし、雨、霧、雪のような現実の悪天候は、大きなノイズと干渉をもたらし、LiDARデータの信頼性を低下させ、セマンティックセグメンテーションのような下流タスクのパフォーマンスを低下させる。
既存のデータセットは、限られた天候の多様性と小さなデータセットサイズに悩まされることが多く、トレーニングモデルの有効性が制限される。
さらに、現在のディープラーニングのデノベーション手法は、特定のシナリオでは有効だが、解釈可能性に欠けることが多く、意思決定プロセスを理解し検証する能力が複雑になる。
これらの制限を克服するため、気象・霧・雪の3つの一般的な悪天候条件をカバーする2つの大規模データセット、ウェザー・キーティとウェザー・ヌースケーツを導入する。
これらのデータセットは、元のLiDAR取得情報を保持し、雨、霧、雪のポイントレベルのセマンティックラベルを提供する。
さらに,三層混合層(Geometry Mixer Layer, Frequency Mixer Layer, Channel Mixer Layer)と3層混合層(Channel Mixer Layer, Channel Mixer Layer)からなる新しい点雲デノナイズモデルTripleMixerを提案する。
これらの層は、幾何学的空間情報をキャプチャし、多スケールの周波数情報を抽出し、点雲の多チャンネル特徴情報を強化するように設計されている。
実世界のシナリオにおけるWADSデータセットと、提案したWeather-KITTIおよびWeather-NuScenesデータセットを用いた実験により、我々のモデルが最先端の遮音性能を達成することを示す。
さらに、既存のセグメンテーションフレームワークにデノベーションモデルを統合することで、ダウンストリームタスクのパフォーマンスが向上することを示し、データセットとコードはhttps://github.com/Grandzxw/TripleMixer.comで公開されます。
関連論文リスト
- SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal [57.52777076116241]
逆天候除去は、悪天候下で透明な視界を回復することを目的としている。
本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-29T12:12:22Z) - Creating and Leveraging a Synthetic Dataset of Cloud Optical Thickness Measures for Cloud Detection in MSI [3.4764766275808583]
雲の形成は、しばしば地球の地表を観測する光学衛星による不明瞭な観測である。
雲の光学的厚さ推定のための新しい合成データセットを提案する。
信頼性と汎用性を備えたクラウドマスクを実データで取得するために活用する。
論文 参考訳(メタデータ) (2023-11-23T14:28:28Z) - LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models [1.1965844936801797]
3D LiDARデータの生成モデリングは、自律移動ロボットに有望な応用をもたらす新たな課題である。
我々は,多種多様かつ高忠実な3Dシーンポイント雲を生成可能な,LiDARデータのための新しい生成モデルR2DMを提案する。
本手法は拡散確率モデル (DDPM) を用いて構築され, 生成モデルフレームワークにおいて顕著な結果が得られた。
論文 参考訳(メタデータ) (2023-09-17T12:26:57Z) - Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。
本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。
RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
論文 参考訳(メタデータ) (2023-05-23T12:56:01Z) - LiDAR Snowfall Simulation for Robust 3D Object Detection [116.10039516404743]
そこで本研究では,降雪の影響をシミュレーションする物理的手法を提案する。
本手法では,LiDARの各線に対して2次元空間の雪粒子をサンプリングし,誘導幾何を用いて各LiDAR線の測定を修正した。
我々はシミュレーションを用いて、部分的に合成された雪のLiDARデータを生成し、これらのデータを利用して、降雪に頑健な3次元物体検出モデルを訓練する。
論文 参考訳(メタデータ) (2022-03-28T21:48:26Z) - Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in
Adverse Weather [92.84066576636914]
本研究は,霧の天候下でのLiDARによる3次元物体検出の課題に対処する。
我々は、物理的に正確な霧をクリア・ウェザー・シーンにシミュレートすることでこの問題に対処する。
Seeing Through Fogデータセットに強力な3Dオブジェクト検出ベースラインを提供するのはこれが初めてです。
論文 参考訳(メタデータ) (2021-08-11T14:37:54Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - Scalable Scene Flow from Point Clouds in the Real World [30.437100097997245]
オープンデータセットに基づくシーンフローの大規模ベンチマークを新たに導入します。
実際のLiDARデータの量に基づいて、これまでの作業がバウンドされているかを示す。
フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。
論文 参考訳(メタデータ) (2021-03-01T20:56:05Z) - Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation
and Spatial Supervision [68.35777836993212]
我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。
点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
論文 参考訳(メタデータ) (2020-06-20T03:11:04Z) - A Nearest Neighbor Network to Extract Digital Terrain Models from 3D
Point Clouds [1.6249267147413524]
本稿では,3Dポイントのクラウド上で動作し,エンド・ツー・エンドのアプローチを用いてシーンの基盤となるDTMを推定するアルゴリズムを提案する。
我々のモデルは近隣情報を学習し、これをポイントワイドでブロックワイドなグローバルな特徴とシームレスに統合する。
論文 参考訳(メタデータ) (2020-05-21T15:54:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。