論文の概要: 4D-CS: Exploiting Cluster Prior for 4D Spatio-Temporal LiDAR Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2501.02937v1
• Date: Mon, 06 Jan 2025 11:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:01.082315
• Title: 4D-CS: Exploiting Cluster Prior for 4D Spatio-Temporal LiDAR Semantic Segmentation
• Title（参考訳）: 4D-CS:4次元時空間LiDARセマンティックセマンティックセグメンテーションに先立つ爆発クラスタ
• Authors: Jiexi Zhong, Zhiheng Li, Yubo Cui, Zheng Fang,
• Abstract要約: 本研究では,オブジェクトの空間構造と時間情報を反映したクラスタラベルを生成する手法を提案する。 我々は,Semantic KITTIおよびnuScenesデータセット上でのマルチスキャンセマンティックおよび移動オブジェクトセグメンテーションの最先端結果を得た。
• 参考スコア（独自算出の注目度）: 21.300636683882338
• License:
• Abstract: Semantic segmentation of LiDAR points has significant value for autonomous driving and mobile robot systems. Most approaches explore spatio-temporal information of multi-scan to identify the semantic classes and motion states for each point. However, these methods often overlook the segmentation consistency in space and time, which may result in point clouds within the same object being predicted as different categories. To handle this issue, our core idea is to generate cluster labels across multiple frames that can reflect the complete spatial structure and temporal information of objects. These labels serve as explicit guidance for our dual-branch network, 4D-CS, which integrates point-based and cluster-based branches to enable more consistent segmentation. Specifically, in the point-based branch, we leverage historical knowledge to enrich the current feature through temporal fusion on multiple views. In the cluster-based branch, we propose a new strategy to produce cluster labels of foreground objects and apply them to gather point-wise information to derive cluster features. We then merge neighboring clusters across multiple scans to restore missing features due to occlusion. Finally, in the point-cluster fusion stage, we adaptively fuse the information from the two branches to optimize segmentation results. Extensive experiments confirm the effectiveness of the proposed method, and we achieve state-of-the-art results on the multi-scan semantic and moving object segmentation on SemanticKITTI and nuScenes datasets. The code will be available at https://github.com/NEU-REAL/4D-CS.git.
• Abstract（参考訳）: LiDARポイントのセマンティックセグメンテーションは、自動運転と移動ロボットシステムにとって重要な意味を持つ。 殆どのアプローチは、各点のセマンティッククラスと運動状態を特定するために、マルチスキャンの時空間情報を探索する。 しかし、これらの手法はしばしば空間と時間のセグメンテーションの整合性を見落とし、結果として同じ対象内の点雲は異なるカテゴリとして予測される。 この問題に対処するため、我々は複数のフレームにまたがって、完全な空間構造とオブジェクトの時間情報を反映できるクラスタラベルを生成する。 これらのラベルは、より一貫性のあるセグメンテーションを可能にするために、ポイントベースとクラスタベースのブランチを統合する、我々のデュアルブランチネットワークである4D-CSの明示的なガイダンスとして役立ちます。 具体的には、ポイントベースブランチにおいて、歴史的知識を活用して、複数のビューの時間的融合を通じて現在の特徴を豊かにする。 クラスタベースブランチでは,前景オブジェクトのクラスタラベルを生成して,ポイントワイズ情報を収集してクラスタ特徴を導出する新たな手法を提案する。 次に、近隣のクラスタを複数のスキャンにマージして、閉塞によって欠落した機能を復元します。 最後に、点クラスター融合段階において、2つの枝からの情報を適応的に融合し、セグメンテーション結果を最適化する。 提案手法の有効性を検証し,SemanticKITTIおよびnuScenesデータセット上でのマルチスキャンセマンティックおよび移動対象セグメンテーションに関する最先端結果を得る。 コードはhttps://github.com/NEU-REAL/4D-CS.gitで入手できる。

関連論文リスト

• OMH: Structured Sparsity via Optimally Matched Hierarchy for Unsupervised Semantic Segmentation [69.37484603556307]
  Un Semantic segmenting (USS)は、事前に定義されたラベルに頼ることなく、イメージをセグメント化する。 上記の問題を同時に解決するために,OMH (Optimally Matched Hierarchy) という新しいアプローチを導入する。 我々のOMHは既存のUSS法と比較して教師なしセグメンテーション性能がよい。
  論文  参考訳（メタデータ） (2024-03-11T09:46:41Z)
• Deep Structure and Attention Aware Subspace Clustering [29.967881186297582]
  本稿では,新しいサブスペースクラスタリング(DSASC)を提案する。 視覚変換器を用いて特徴を抽出し,抽出した特徴を2つの部分,構造特徴,内容特徴に分割する。 我々の手法は最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-25T01:19:47Z)
• A Lightweight Clustering Framework for Unsupervised Semantic Segmentation [28.907274978550493]
  教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。 教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。 本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:33:42Z)
• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• Deep Multi-View Subspace Clustering with Anchor Graph [11.291831842959926]
  アンカーグラフ(DMCAG)を用いた深層多視点サブスペースクラスタリング手法を提案する。 DMCAGは各ビューの埋め込み機能を独立して学習し、サブスペース表現を得るために使用される。 本手法は他の最先端手法よりも優れたクラスタリング性能を実現する。
  論文  参考訳（メタデータ） (2023-05-11T16:17:43Z)
• SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
  ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。 我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-26T17:00:23Z)
• CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds [2.891413712995641]
  CPSegと呼ばれるLiDAR点雲のための新しいリアルタイム・エンド・エンド・エンド・パノプティクス・セグメンテーション・ネットワークを提案する。 CPSegは、共有エンコーダ、デュアルデコーダ、タスク認識アテンションモジュール(TAM)、クラスタフリーインスタンスセグメンテーションヘッドを備える。
  論文  参考訳（メタデータ） (2021-11-02T16:44:06Z)
• A Technical Survey and Evaluation of Traditional Point Cloud Clustering Methods for LiDAR Panoptic Segmentation [11.138159123596669]
  LiDARのパノプティカルセグメンテーションは、自動運転のための新しい技術課題である。 既存のセマンティックセグメンテーションネットワークを用いたハイブリッド手法を提案し,セマンティック情報を抽出する。 パン光学セグメンテーションリーダーボード上で、すべてのエンドツーエンドディープラーニングソリューションの中で、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-08-21T14:59:02Z)
• Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation [95.74244714914052]
  複数のオブジェクトのトラッキングとセグメンテーションには、与えられたクラスのセットに属するオブジェクトを検出し、追跡し、セグメンテーションする必要がある。 オンライン上でリッチ・テンポラル情報を活用するプロトタイプ・クロス・アテンション・ネットワーク(PCAN)を提案する。 PCANは、Youtube-VISとBDD100Kデータセットで、現在のビデオインスタンス追跡とセグメンテーションコンテストの勝者を上回っている。
  論文  参考訳（メタデータ） (2021-06-22T17:57:24Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)
• Few-shot 3D Point Cloud Semantic Segmentation [138.80825169240302]
  本稿では,新しい注意型マルチプロトタイプトランスダクティブ・ショットポイント・クラウドセマンティックセマンティック・セマンティクス法を提案する。 提案手法は,雲のセマンティックセマンティックセグメンテーション設定の違いによるベースラインに比べて,顕著で一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-06-22T08:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。