論文の概要: UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase

• arxiv url: http://arxiv.org/abs/2309.05573v1
• Date: Mon, 11 Sep 2023 16:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 11:48:57.525460
• Title: UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase
• Title（参考訳）: uniseg: 統一されたマルチモーダルlidarセグメンテーションネットワークとopenpcsegコードベース
• Authors: Youquan Liu, Runnan Chen, Xin Li, Lingdong Kong, Yuchen Yang, Zhaoyang Xia, Yeqi Bai, Xinge Zhu, Yuexin Ma, Yikang Li, Yu Qiao, Yuenan Hou
• Abstract要約: We present an unified multi-modal LiDAR segmentation network, called UniSeg。 セグメンテーションとパノプティクスのセグメンテーションを同時に行う。 また、OpenPCSegは、最大かつ最も包括的な屋外LiDARセグメンテーションである。
• 参考スコア（独自算出の注目度）: 43.95911443801265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point-, voxel-, and range-views are three representative forms of point clouds. All of them have accurate 3D measurements but lack color and texture information. RGB images are a natural complement to these point cloud views and fully utilizing the comprehensive information of them benefits more robust perceptions. In this paper, we present a unified multi-modal LiDAR segmentation network, termed UniSeg, which leverages the information of RGB images and three views of the point cloud, and accomplishes semantic segmentation and panoptic segmentation simultaneously. Specifically, we first design the Learnable cross-Modal Association (LMA) module to automatically fuse voxel-view and range-view features with image features, which fully utilize the rich semantic information of images and are robust to calibration errors. Then, the enhanced voxel-view and range-view features are transformed to the point space,where three views of point cloud features are further fused adaptively by the Learnable cross-View Association module (LVA). Notably, UniSeg achieves promising results in three public benchmarks, i.e., SemanticKITTI, nuScenes, and Waymo Open Dataset (WOD); it ranks 1st on two challenges of two benchmarks, including the LiDAR semantic segmentation challenge of nuScenes and panoptic segmentation challenges of SemanticKITTI. Besides, we construct the OpenPCSeg codebase, which is the largest and most comprehensive outdoor LiDAR segmentation codebase. It contains most of the popular outdoor LiDAR segmentation algorithms and provides reproducible implementations. The OpenPCSeg codebase will be made publicly available at https://github.com/PJLab-ADG/PCSeg.
• Abstract（参考訳）: 点-、ボクセル-、レンジビューは点雲の3つの代表形式である。 いずれも正確な3d計測を行うが、色やテクスチャ情報はない。 RGBイメージは、これらのポイントクラウドビューの自然な補完であり、それらの包括的な情報を完全に活用することで、より堅牢な認識が得られます。 本稿では,rgb画像とポイントクラウドの3つのビューの情報を活用して,セマンティックセグメンテーションとpanopticセグメンテーションを同時に実現する,ユニセグメンテーションと呼ばれる統一型マルチモーダルlidarセグメンテーションネットワークを提案する。 具体的には、まずLearnerable Cross-Modal Association (LMA) モジュールを設計し、画像のリッチなセマンティック情報を完全に活用し、校正エラーに頑健なボクセルビューとレンジビュー機能を自動的に融合する。 そして、拡張されたボクセルビューおよびレンジビュー機能をポイント空間に変換し、学習可能なクロスビューアソシエーションモジュール(lva)によりポイントクラウド機能の3つのビューをさらに適応的に融合させる。 特に、UniSegは、SemanticKITTI、nuScenes、Waymo Open Dataset(WOD)の3つの公開ベンチマークで有望な結果を達成している。 さらに、最大かつ最も包括的なアウトドアlidarセグメンテーションコードベースであるopenpcsegコードベースを構築しています。 人気のあるアウトドアlidarセグメンテーションアルゴリズムの大半を含み、再現可能な実装を提供する。 OpenPCSegのコードベースはhttps://github.com/PJLab-ADG/PCSegで公開される。

関連論文リスト

• LiOn-XA: Unsupervised Domain Adaptation via LiDAR-Only Cross-Modal Adversarial Training [61.26381389532653]
  LiOn-XAは、LiDAR-Only Cross-Modal (X)学習と3D LiDARポイントクラウドセマンティックセマンティックセグメンテーションのためのAdversarial Trainingを組み合わせた、教師なしドメイン適応(UDA)アプローチである。 3つの現実的適応シナリオに関する実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-10-21T09:50:17Z)
• Monocular Visual Place Recognition in LiDAR Maps via Cross-Modal State Space Model and Multi-View Matching [2.400446821380503]
  我々はRGB画像とポイントクラウドの両方のディスクリプタを学習するための効率的なフレームワークを導入する。 視覚状態空間モデル(VMamba)をバックボーンとして、ピクセルビューとシーンの共同トレーニング戦略を採用している。 視覚的な3Dポイントオーバーラップ戦略は、マルチビューの監視のために、ポイントクラウドビューとRGBイメージの類似性を定量化するように設計されている。
  論文  参考訳（メタデータ） (2024-10-08T18:31:41Z)
• LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and Semantic-Aware Alignment [63.83894701779067]
  我々は,最初のLiDAR-Camera Panoptic NetworkであるLCPSを提案する。 提案手法では,LiDAR-Camera融合を3段階に分けて行う。 我々の融合戦略は、NuScenesデータセット上のLiDARのみのベースラインに対して、約6.9%のPQ性能を改善する。
  論文  参考訳（メタデータ） (2023-08-03T10:57:58Z)
• CalibNet: Dual-branch Cross-modal Calibration for RGB-D Salient Instance Segmentation [88.50067783122559]
  CalibNetは3つの単純なモジュール、動的インタラクティブカーネル(DIK)と重量共有融合(WSF)で構成されている。 実験の結果、CalibNetは、COME15K-Nテストセット上で320*480の入力サイズを持つ58.0% APという有望な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-16T16:49:59Z)
• Rethinking Range View Representation for LiDAR Segmentation [66.73116059734788]
  「多対一」マッピング、意味的不整合、形状変形は、射程射影からの効果的な学習に対する障害となる可能性がある。 RangeFormerは、ネットワークアーキテクチャ、データ拡張、後処理を含む新しい設計を含む、フルサイクルのフレームワークである。 比較対象のLiDARセマンティックスとパノプティックスセグメンテーションのベンチマークにおいて,初めてレンジビュー法が点,ボクセル,マルチビューフュージョンを越えられることを示す。
  論文  参考訳（メタデータ） (2023-03-09T16:13:27Z)
• RangeSeg: Range-Aware Real Time Segmentation of 3D LiDAR Point Clouds [0.6119392435448721]
  本稿では、異なるLiDARレーザビームの不均一領域分布の利点を生かし、レンジアウェア・インスタンスセグメンテーション・ネットワークであるレンジセグメンテーション・ネットワークを提案する。 KITTIデータセットの実験では、RangeSegは最先端のセマンティックセマンティックセグメンテーション手法よりも、大幅に高速化されている。 RangeSegパイプライン全体はNVIDIAtextsuperscripttextregistered JETSON AGX Xavierのリアルタイム要件を満たしている。
  論文  参考訳（メタデータ） (2022-05-02T09:57:59Z)
• Enhanced Boundary Learning for Glass-like Object Segmentation [55.45473926510806]
  本稿では,拡張境界学習によるガラス状物体分割問題を解くことを目的とする。 特に,より微細な境界キューを生成するための改良された微分モジュールを最初に提案する。 境界に沿った大域的な形状表現をモデル化するために,エッジ対応のグラフ畳み込みネットワークモジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-29T16:18:57Z)
• RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation [28.494690309193068]
  RPVNetと呼ばれる、新しいレンジポイント・ボクセル融合ネットワークを提案する。 このネットワークでは,これら3つの視点を相互に相互に相互作用する深層融合フレームワークを考案する。 この効率的な相互作用と比較的低いボクセル解像度を利用することで、より効率的であることが証明された。
  論文  参考訳（メタデータ） (2021-03-24T04:24:12Z)
• FPS-Net: A Convolutional Fusion Network for Large-Scale LiDAR Point Cloud Segmentation [30.736361776703568]
  LiDARポイントクラウドに基づくシーン理解は、自動運転車が安全に運転するのに不可欠なタスクです。 既存のほとんどのメソッドは、情報容量を増やすために、画像チャネルとして異なるポイント属性/モダリティを積み重ねる。 fps-netは,最適なポイントクラウドセグメンテーションのために,投影画像チャネル間の一意性と不一致を生かす畳み込み型融合ネットワークである。
  論文  参考訳（メタデータ） (2021-03-01T04:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。