論文の概要: See More and Know More: Zero-shot Point Cloud Segmentation via Multi-modal Visual Data

• arxiv url: http://arxiv.org/abs/2307.10782v1
• Date: Thu, 20 Jul 2023 11:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 13:30:23.746275
• Title: See More and Know More: Zero-shot Point Cloud Segmentation via Multi-modal Visual Data
• Title（参考訳）: 詳細と詳細:マルチモーダルビジュアルデータによるゼロショットポイントクラウドセグメンテーション
• Authors: Yuhang Lu, Qi Jiang, Runnan Chen, Yuenan Hou, Xinge Zhu, Yuexin Ma
• Abstract要約: ゼロショットポイントクラウドセグメンテーションは、トレーニングフェーズで目に見えないポイントクラウド内の新しいオブジェクトを認識することができるディープモデルを作ることを目的としている。 本稿では,点群と画像の相補的な情報をより正確な視覚・意味的アライメントに活用するための,新しいマルチモーダルゼロショット学習法を提案する。
• 参考スコア（独自算出の注目度）: 22.53879737713057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot point cloud segmentation aims to make deep models capable of recognizing novel objects in point cloud that are unseen in the training phase. Recent trends favor the pipeline which transfers knowledge from seen classes with labels to unseen classes without labels. They typically align visual features with semantic features obtained from word embedding by the supervision of seen classes' annotations. However, point cloud contains limited information to fully match with semantic features. In fact, the rich appearance information of images is a natural complement to the textureless point cloud, which is not well explored in previous literature. Motivated by this, we propose a novel multi-modal zero-shot learning method to better utilize the complementary information of point clouds and images for more accurate visual-semantic alignment. Extensive experiments are performed in two popular benchmarks, i.e., SemanticKITTI and nuScenes, and our method outperforms current SOTA methods with 52% and 49% improvement on average for unseen class mIoU, respectively.
• Abstract（参考訳）: ゼロショットポイントクラウドセグメンテーションは、トレーニングフェーズで見えないポイントクラウドで新しいオブジェクトを認識することができるディープモデルを作ることを目的としている。 最近のトレンドでは、ラベル付き参照クラスからラベルなしの未認識クラスに知識を転送するパイプラインが好まれている。 彼らは通常、視覚的特徴と、見たクラスのアノテーションの監督によって単語の埋め込みから得られる意味的特徴とを一致させる。 しかし、ポイントクラウドはセマンティック機能に完全にマッチする限られた情報を含んでいる。 実際、画像のリッチな外観情報はテクスチャのない点雲の自然な補完であり、以前の文献ではよく研究されていない。 そこで本研究では,点群と画像の相補的情報をより正確な視覚・意味的アライメントに活用するための,新しいマルチモーダルゼロショット学習手法を提案する。 セマンティックKITTI と nuScenes という2つの一般的なベンチマークで大規模な実験を行い,本手法は従来のSOTA法よりも52%,49%向上した。

関連論文リスト

• PRED: Pre-training via Semantic Rendering on LiDAR Point Clouds [18.840000859663153]
  本稿では,屋外点雲のための画像支援事前学習フレームワークPreDを提案する。 我々のフレームワークの主な構成要素は、Birds-Eye-View (BEV) 機能マップ条件付きセマンティックレンダリングである。 我々は、高マスキング比のポイントワイドマスクを組み込むことにより、モデルの性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-11-08T07:26:09Z)
• Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration [17.420425069785946]
  本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。 まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。 コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
  論文  参考訳（メタデータ） (2023-11-02T12:56:47Z)
• Point Contrastive Prediction with Semantic Clustering for Self-Supervised Learning on Point Cloud Videos [71.20376514273367]
  本稿では,オブジェクト中心およびシーン中心のデータを対象とした一元的クラウドビデオ自己教師型学習フレームワークを提案する。 本手法は、広範囲の下流タスクにおいて教師付きタスクよりも優れる。
  論文  参考訳（メタデータ） (2023-08-18T02:17:47Z)
• Few-Shot Point Cloud Semantic Segmentation via Contrastive Self-Supervision and Multi-Resolution Attention [6.350163959194903]
  数発の学習事前学習のための対照的な自己超越フレームワークを提案する。 具体的には、3Dポイントクラウドのための学習可能な拡張子を用いて、新しいコントラスト学習アプローチを実装した。 最接近点と最遠点の両方を用いて多分解能アテンションモジュールを開発し,局所点と大域点の情報をより効率的に抽出する。
  論文  参考訳（メタデータ） (2023-02-21T07:59:31Z)
• Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis [43.13887916301742]
  本稿では、ポイントクラウド分析を促進するために、シンプルだが効果的なポイントクラウドクロスモダリティトレーニング(PointCMT)戦略を導入する。 ビューイメージから補助的知識を効果的に獲得するために,教師学生のための枠組みを開発し,知識蒸留問題としてクロスモーダル学習を定式化する。 我々は、魅力的なバックボーン、すなわちPointCMT、PointNet++、PointMLPを備えた様々なデータセットにおいて、大きな利益を検証した。
  論文  参考訳（メタデータ） (2022-10-09T09:35:22Z)
• Learning Scene Flow in 3D Point Clouds with Noisy Pseudo Labels [71.11151016581806]
  そこで本研究では,3次元の3次元動きを点雲からキャプチャするシーンフロー手法を提案する。 提案手法は,最先端の自己教師型アプローチより優れるだけでなく,正確な接地構造を用いた教師型アプローチよりも優れる。
  論文  参考訳（メタデータ） (2022-03-23T18:20:03Z)
• VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning [113.50220968583353]
  ゼロショット学習のための識別的視覚特性を含むセマンティック埋め込みを発見することを提案する。 本モデルでは,画像の集合を視覚的類似性に応じて局所的な画像領域の集合に視覚的に分割する。 視覚的に接地されたセマンティック埋め込みは、様々なZSLモデルにまたがる単語埋め込みよりも、大きなマージンで性能を向上することを示した。
  論文  参考訳（メタデータ） (2022-03-20T03:49:02Z)
• Unsupervised Point Cloud Representation Learning with Deep Neural Networks: A Survey [104.71816962689296]
  大規模クラウドラベリングの制約により,教師なしのポイントクラウド表現学習が注目されている。 本稿では、ディープニューラルネットワークを用いた教師なしポイントクラウド表現学習の総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2022-02-28T07:46:05Z)
• Self-Supervised Feature Learning from Partial Point Clouds via Pose Disentanglement [35.404285596482175]
  部分点雲から情報表現を学習するための,新たな自己教師型フレームワークを提案する。 コンテンツとポーズ属性の両方を含むLiDARでスキャンされた部分点雲を利用する。 提案手法は,既存の自己教師付き手法に勝るだけでなく,合成および実世界のデータセット間でのより優れた一般化性を示す。
  論文  参考訳（メタデータ） (2022-01-09T14:12:50Z)
• Unsupervised Representation Learning for 3D Point Cloud Data [66.92077180228634]
  我々は、教師なしのポイントクラウド学習に対して、シンプルで効果的なアプローチを提案する。 特に、原点雲の優れたコントラストバージョンを生成する非常に有用な変換を同定する。 本研究では,3次元オブジェクト分類,形状部分分割,シーン分割の3つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-10-13T10:52:45Z)
• Few-shot 3D Point Cloud Semantic Segmentation [138.80825169240302]
  本稿では,新しい注意型マルチプロトタイプトランスダクティブ・ショットポイント・クラウドセマンティックセマンティック・セマンティクス法を提案する。 提案手法は,雲のセマンティックセマンティックセグメンテーション設定の違いによるベースラインに比べて,顕著で一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-06-22T08:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。