論文の概要: Multi-modality Affinity Inference for Weakly Supervised 3D Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2312.16578v2
• Date: Fri, 29 Dec 2023 09:39:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-02 19:54:36.222827
• Title: Multi-modality Affinity Inference for Weakly Supervised 3D Semantic Segmentation
• Title（参考訳）: 弱教師付き3次元意味セグメンテーションに対するマルチモダリティアフィニティ推論
• Authors: Xiawei Li, Qingyuan Xu, Jing Zhang, Tianyi Zhang, Qian Yu, Lu Sheng, Dong Xu
• Abstract要約: 本稿では,マルチモーダルポイント親和性推論モジュールを新たに導入した,シンプルで効果的なシーンレベルの弱教師付きポイントクラウドセグメンテーション法を提案する。 ScanNet と S3DIS のベンチマークでは,最先端の ScanNet と S3DIS のベンチマークでは 4% から 6% の mIoU を達成している。
• 参考スコア（独自算出の注目度）: 47.81638388980828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D point cloud semantic segmentation has a wide range of applications. Recently, weakly supervised point cloud segmentation methods have been proposed, aiming to alleviate the expensive and laborious manual annotation process by leveraging scene-level labels. However, these methods have not effectively exploited the rich geometric information (such as shape and scale) and appearance information (such as color and texture) present in RGB-D scans. Furthermore, current approaches fail to fully leverage the point affinity that can be inferred from the feature extraction network, which is crucial for learning from weak scene-level labels. Additionally, previous work overlooks the detrimental effects of the long-tailed distribution of point cloud data in weakly supervised 3D semantic segmentation. To this end, this paper proposes a simple yet effective scene-level weakly supervised point cloud segmentation method with a newly introduced multi-modality point affinity inference module. The point affinity proposed in this paper is characterized by features from multiple modalities (e.g., point cloud and RGB), and is further refined by normalizing the classifier weights to alleviate the detrimental effects of long-tailed distribution without the need of the prior of category distribution. Extensive experiments on the ScanNet and S3DIS benchmarks verify the effectiveness of our proposed method, which outperforms the state-of-the-art by ~4% to ~6% mIoU. Codes are released at https://github.com/Sunny599/AAAI24-3DWSSG-MMA.
• Abstract（参考訳）: 3d point cloud semantic segmentationには幅広いアプリケーションがある。 近年,シーンレベルのラベルを活用することで,高価な手作業によるアノテーション処理を緩和することを目的とした,制御の弱いポイントクラウドセグメンテーション手法が提案されている。 しかし、これらの手法は、RGB-Dスキャンに存在するリッチな幾何学情報(形状やスケールなど)や外観情報(色やテクスチャなど)を効果的に活用していない。 さらに、現在のアプローチでは、弱いシーンレベルのラベルから学ぶのに不可欠である特徴抽出ネットワークから推測できる点親和性を完全に活用できない。 さらに、従来の研究は、弱教師付き3次元セマンティックセマンティックセグメンテーションにおけるポイントクラウドデータの長期分布による有害な効果を見落としている。 そこで本研究では,新たに導入された多モード点親和性推論モジュールを用いて,シーンレベルの弱教師付きポイントクラウドセグメンテーション手法を提案する。 本論文で提案する点親和性は,複数モード(例えば,点雲とRGB)の特徴を特徴とし,分類器重みを正規化することにより,カテゴリ分布の先行を必要とせずに,長い尾分布の有害な影響を軽減する。 ScanNetとS3DISベンチマークの大規模な実験により,提案手法の有効性が検証された。 コードはhttps://github.com/Sunny599/AAAI24-3DWSSG-MMAで公開されている。

関連論文リスト

• Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
  3Dセグメンテーションはコンピュータビジョンの中核的な問題である。 完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。 半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-09-12T14:54:31Z)
• Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network [22.9434434107516]
  数ショットのクラウドセマンティックセマンティックセグメンテーションのための新しい多層トランスフォーマーネットワークを開発した。 提案手法は,既存の数ショットの3Dポイントクラウドセグメンテーションモデルよりも15%少ない推論時間で,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T00:27:54Z)
• Dual Adaptive Transformations for Weakly Supervised Point Cloud Segmentation [78.6612285236938]
  弱制御点雲分割のための新しいDATモデル(textbfDual textbfAdaptive textbfTransformations)を提案する。 我々は,大規模S3DISデータセットとScanNet-V2データセットの2つの人気バックボーンを用いたDATモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-07-19T05:43:14Z)
• Dense Supervision Propagation for Weakly Supervised Semantic Segmentation on 3D Point Clouds [59.63231842439687]
  意味点クラウドセグメンテーションネットワークをトレーニングする。 同様の特徴を伝達し、2つのサンプルにまたがる勾配を再現するクロスサンプル機能再配置モジュールを提案する。 ラベルの10%と1%しか持たない弱教師付き手法では、完全教師付き手法と互換性のある結果が得られる。
  論文  参考訳（メタデータ） (2021-07-23T14:34:57Z)
• Learning Semantic Segmentation of Large-Scale Point Clouds with Random Sampling [52.464516118826765]
  我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。 我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。 我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
  論文  参考訳（メタデータ） (2021-07-06T05:08:34Z)
• Few-shot 3D Point Cloud Semantic Segmentation [138.80825169240302]
  本稿では,新しい注意型マルチプロトタイプトランスダクティブ・ショットポイント・クラウドセマンティックセマンティック・セマンティクス法を提案する。 提案手法は,雲のセマンティックセマンティックセグメンテーション設定の違いによるベースラインに比べて,顕著で一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-06-22T08:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。