論文の概要: Attention-Guided Lidar Segmentation and Odometry Using Image-to-Point Cloud Saliency Transfer
- arxiv url: http://arxiv.org/abs/2308.14332v2
- Date: Mon, 17 Jun 2024 00:44:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 12:40:28.025552
- Title: Attention-Guided Lidar Segmentation and Odometry Using Image-to-Point Cloud Saliency Transfer
- Title（参考訳）: Image-to-Point Cloud Saliency Transferを用いた注意誘導ライダーセグメンテーションとオドメトリー
- Authors: Guanqun Ding, Nevrez Imamoglu, Ali Caglayan, Masahiro Murakawa, Ryosuke Nakamura,
- Abstract要約: SalLiDARは3次元セマンティックセマンティックセマンティクスモデルであり、セマンティクス性能を向上させるために、サリエンシ情報を統合する。
SalLONetは、SalLiDARのセマンティックおよびサリエンシ予測を用いて、より優れたオドメトリー推定を実現する、自己監督型サリエンシ誘導型LiDARオドメトリーネットワークである。
- 参考スコア（独自算出の注目度）: 6.058427379240697
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LiDAR odometry estimation and 3D semantic segmentation are crucial for autonomous driving, which has achieved remarkable advances recently. However, these tasks are challenging due to the imbalance of points in different semantic categories for 3D semantic segmentation and the influence of dynamic objects for LiDAR odometry estimation, which increases the importance of using representative/salient landmarks as reference points for robust feature learning. To address these challenges, we propose a saliency-guided approach that leverages attention information to improve the performance of LiDAR odometry estimation and semantic segmentation models. Unlike in the image domain, only a few studies have addressed point cloud saliency information due to the lack of annotated training data. To alleviate this, we first present a universal framework to transfer saliency distribution knowledge from color images to point clouds, and use this to construct a pseudo-saliency dataset (i.e. FordSaliency) for point clouds. Then, we adopt point cloud-based backbones to learn saliency distribution from pseudo-saliency labels, which is followed by our proposed SalLiDAR module. SalLiDAR is a saliency-guided 3D semantic segmentation model that integrates saliency information to improve segmentation performance. Finally, we introduce SalLONet, a self-supervised saliency-guided LiDAR odometry network that uses the semantic and saliency predictions of SalLiDAR to achieve better odometry estimation. Our extensive experiments on benchmark datasets demonstrate that the proposed SalLiDAR and SalLONet models achieve state-of-the-art performance against existing methods, highlighting the effectiveness of image-to-LiDAR saliency knowledge transfer. Source code will be available at https://github.com/nevrez/SalLONet.
- Abstract（参考訳）: LiDAR計測と3Dセマンティックセグメンテーションは自動運転に不可欠であり、近年顕著な進歩を遂げている。
しかし,これらの課題は,3次元セマンティックセグメンテーションの異なるセマンティックカテゴリにおけるポイントの不均衡や,LiDAR odometry 推定における動的オブジェクトの影響により,ロバストな特徴学習のための参照ポイントとして代表/サレントなランドマークを使用することの重要性が高まっているため,課題である。
これらの課題に対処するために、注意情報を活用してLiDAR odometry 推定とセマンティックセグメンテーションモデルの性能を向上させるサリエンシ誘導手法を提案する。
画像領域とは異なり、注釈付きトレーニングデータがないため、ポイントクラウドのサリエンシ情報に対処した研究はごくわずかである。
これを緩和するために、私たちはまず、カラー画像からポイントクラウドに塩分分布の知識を伝達するための普遍的なフレームワークを提示し、これを用いてポイントクラウドのための擬似塩分分布データセット(すなわちFordSaliency)を構築する。
そこで我々は,Pseudo-SaliencyラベルからSalLiDARモジュールを学習するために,ポイントクラウドベースのバックボーンを導入し,それに続いてSalLiDARモジュールを提案する。
SalLiDARは3次元セマンティックセマンティックセマンティクスモデルであり、セマンティクス性能を向上させるために、サリエンシ情報を統合する。
最後に、SalLiDARのセマンティックおよびサリエンシ予測を用いて、より優れたオドメトリー推定を実現する自己教師型サリエンシ誘導型LiDARオドメトリーネットワークであるSalLONetを紹介する。
提案したSalLiDARモデルとSalLONetモデルが既存の手法に対する最先端性能を実現し,画像からLiDARへのサリエンシ知識伝達の有効性を明らかにした。
ソースコードはhttps://github.com/nevrez/SalLONet.comで入手できる。
関連論文リスト
- 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。
学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
論文 参考訳（メタデータ） (2024-07-08T17:59:54Z) - Off-Road LiDAR Intensity Based Semantic Segmentation [11.684330305297523]
学習ベースのLiDARセマンティックセグメンテーションは、機械学習技術を使用して、LiDARポイントクラウド内のオブジェクトを自動的に分類する。
オフロード環境におけるオブジェクトセグメンテーションを強化するために,LiDAR強度パラメータを活用することでこの問題に対処する。
提案手法をRELLIS-3Dデータセットで評価し,mIoUを改良した「パドル」と「グラス」の予備解析として有望な結果を得た。
論文 参考訳（メタデータ） (2024-01-02T21:27:43Z) - Refining the ONCE Benchmark with Hyperparameter Tuning [45.55545585587993]
本研究は、ポイントクラウドデータに対する半教師付き学習アプローチの評価に焦点を当てる。
データアノテーションは、LiDARアプリケーションのコンテキストにおいて最も重要である。
従来の半教師付き手法による改善は,従来考えられていたほど深くない可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-10T13:39:07Z) - NeRF-LOAM: Neural Implicit Representation for Large-Scale Incremental
LiDAR Odometry and Mapping [14.433784957457632]
ニューラルドメトリー,ニューラルマッピング,メッシュ再構成の3つのモジュールからなる新しいNeRF-LOAMを提案する。
提案手法は,LiDARデータを用いた大規模環境において,最先端のオドメトリーとマッピング性能を実現するとともに,強力な一般化を実現する。
論文 参考訳（メタデータ） (2023-03-19T16:40:36Z) - Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。
サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文 参考訳（メタデータ） (2022-05-02T16:09:17Z) - Learning Where to Learn in Cross-View Self-Supervised Learning [54.14989750044489]
自己教師付き学習(SSL)は大きな進歩を遂げ、教師付き学習との大きなギャップを狭めた。
現在の方法では、埋め込みにピクセルの統一的なアグリゲーションを採用する。
本稿では,特徴の空間情報を適応的に集約する学習方法であるLearning Where to Learn(LEWEL)を提案する。
論文 参考訳（メタデータ） (2022-03-28T17:02:42Z) - Guided Point Contrastive Learning for Semi-supervised Point Cloud
Semantic Segmentation [90.2445084743881]
そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。
近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
論文 参考訳（メタデータ） (2021-10-15T16:38:54Z) - SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural
Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。
具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。
我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文 参考訳（メタデータ） (2020-10-19T09:23:39Z) - LodoNet: A Deep Neural Network with 2D Keypoint Matchingfor 3D LiDAR
Odometry Estimation [22.664095688406412]
本稿では,LiDARフレームを画像空間に転送し,画像特徴抽出として問題を再構成することを提案する。
特徴抽出のためのスケール不変特徴変換(SIFT)の助けを借りて、マッチングキーポイントペア(MKP)を生成することができる。
畳み込みニューラルネットワークパイプラインは、抽出したMKPによるLiDARのオドメトリー推定のために設計されている。
提案手法,すなわちLodoNet は,KITTI odometry 推定ベンチマークで評価され,最先端の手法と同等あるいはそれ以上の結果が得られた。
論文 参考訳（メタデータ） (2020-09-01T01:09:41Z) - Complete & Label: A Domain Adaptation Approach to Semantic Segmentation
of LiDAR Point Clouds [49.47017280475232]
3次元点雲のセマンティックラベリングにおける教師なし領域適応問題について検討する。
セグメンテーションネットワークに渡す前に、基盤となる表面を復元するためにComplete と Label のアプローチを採用する。
回収された3D表面は標準領域として機能し、そこからセマンティックラベルが異なるLiDARセンサー間で転送される。
論文 参考訳（メタデータ） (2020-07-16T17:42:05Z) - Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental
Study [2.6205925938720833]
最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。
LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。
メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
論文 参考訳（メタデータ） (2020-04-06T11:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。