論文の概要: PointCMC: Cross-Modal Multi-Scale Correspondences Learning for Point Cloud Understanding

• arxiv url: http://arxiv.org/abs/2211.12032v1
• Date: Tue, 22 Nov 2022 06:08:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 18:03:27.585853
• Title: PointCMC: Cross-Modal Multi-Scale Correspondences Learning for Point Cloud Understanding
• Title（参考訳）: PointCMC: ポイントクラウド理解のためのクロスモーダルマルチスケール対応学習
• Authors: Honggu Zhou, Xiaogang Peng, Jiawei Mao, Zizhao Wu, Ming Zeng
• Abstract要約: 自己教師付きポイントクラウド表現学習のためのマルチスケール対応をモダリティ間でモデル化するクロスモーダル手法 ポイントCMCは,(1) 局所的局所幾何学的特徴を最適化して局所的対応を学習する局所的-局所的(L2L)モジュール,(2) 局所的-グローバル的(L2G)モジュール,(3) 局所的-グローバル的(G2G)モジュール,(3) 局所的雲と画像間の協調的大域的コントラスト損失を利用して高レベルの意味的対応を学習するグローバル的(G2G)モジュールから構成される。
• 参考スコア（独自算出の注目度）: 0.875967561330372
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some self-supervised cross-modal learning approaches have recently demonstrated the potential of image signals for enhancing point cloud representation. However, it remains a question on how to directly model cross-modal local and global correspondences in a self-supervised fashion. To solve it, we proposed PointCMC, a novel cross-modal method to model multi-scale correspondences across modalities for self-supervised point cloud representation learning. In particular, PointCMC is composed of: (1) a local-to-local (L2L) module that learns local correspondences through optimized cross-modal local geometric features, (2) a local-to-global (L2G) module that aims to learn the correspondences between local and global features across modalities via local-global discrimination, and (3) a global-to-global (G2G) module, which leverages auxiliary global contrastive loss between the point cloud and image to learn high-level semantic correspondences. Extensive experiment results show that our approach outperforms existing state-of-the-art methods in various downstream tasks such as 3D object classification and segmentation. Code will be made publicly available upon acceptance.
• Abstract（参考訳）: いくつかの自己教師型クロスモーダル学習アプローチは、最近、ポイントクラウド表現を強化するための画像信号の可能性を実証している。 しかし、自己監督的な方法で、モーダルな局所的およびグローバルな通信を直接モデル化する方法については疑問が残る。 そこで本研究では,自己教師付きポイントクラウド表現学習のためのマルチスケール対応をモデル化する新しいクロスモーダル手法であるpointcmcを提案する。 特にポイントCMCは,(1) 局所的局所幾何学的特徴を最適化して局所的対応を学習する局所的-局所的(L2L)モジュール,(2) 局所的-グローバル的(L2G)モジュール,(3) 局所的-グローバル的(G2G)モジュールによって局所的特徴とグローバル的特徴の対応を学習する局所的-グローバル的(L2G)モジュールから構成される。 広範な実験結果から,3dオブジェクトの分類やセグメンテーションといった下流タスクにおいて,既存の最先端手法よりも優れた手法が得られた。 コードは受理次第公開される予定だ。

関連論文リスト

• BCLNet: Bilateral Consensus Learning for Two-View Correspondence Pruning [26.400567961735234]
  対応プルーニングは、2つの関連する画像間の信頼性の高い対応を確立することを目的としている。 既存のアプローチでは、ローカルとグローバルのコンテキストを扱うために、プログレッシブな戦略を採用することが多い。 本稿では,2視点対応型プルーニングタスクにおいて,双方向のコンセンサスを取得するための並列コンテキスト学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-01-07T11:38:15Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• 3DGTN: 3D Dual-Attention GLocal Transformer Network for Point Cloud Classification and Segmentation [21.054928631088575]
  本稿では,Global Local(GLocal) Transformer Network(3DGTN)と呼ばれる,新たなポイントクラウド表現学習ネットワークを提案する。 提案するフレームワークは,分類データセットとセグメンテーションデータセットの両方で評価される。
  論文  参考訳（メタデータ） (2022-09-21T14:34:21Z)
• Multi-scale Network with Attentional Multi-resolution Fusion for Point Cloud Semantic Segmentation [2.964101313270572]
  ローカルおよびグローバルなマルチスケール情報を集約する総合的なポイントクラウドセマンティックセマンティックセマンティクスネットワークを提案する。 点の局所的な形状を効果的に学習するアングル相関点畳み込みモジュールを提案する。 第3に、2Dイメージビジョンタスクのパフォーマンスに優れたHRNetにインスパイアされた私たちは、ポイントクラウド用にカスタマイズされたHRNetを構築し、グローバルなマルチスケールコンテキストを学習します。
  論文  参考訳（メタデータ） (2022-06-27T21:03:33Z)
• Cross-modal Local Shortest Path and Global Enhancement for Visible-Thermal Person Re-Identification [2.294635424666456]
  本稿では,局所的特徴とグローバル的特徴の同時学習に基づく2ストリームネットワークであるCM-LSP-GE(Cross-modal Local Shortest Path and Global Enhancement)モジュールを提案する。 2つの典型的なデータセットの実験結果は、我々のモデルは明らかに最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T10:27:22Z)
• Global-and-Local Collaborative Learning for Co-Salient Object Detection [162.62642867056385]
  Co-Salient Object Detection (CoSOD)の目標は、2つ以上の関連する画像を含むクエリグループに一般的に現れる有能なオブジェクトを見つけることである。 本稿では,グローバル対応モデリング(GCM)とローカル対応モデリング(LCM)を含む,グローバル・ローカル協調学習アーキテクチャを提案する。 提案したGLNetは3つの一般的なCoSODベンチマークデータセットに基づいて評価され、我々のモデルが小さなデータセット(約3k画像)でトレーニングされた場合、一部の大規模データセット(約8k-200k画像)でトレーニングされた11の最先端の競合製品(約8k-200k画像)を上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-19T14:32:41Z)
• PRA-Net: Point Relation-Aware Network for 3D Point Cloud Analysis [56.91758845045371]
  我々はポイント関係認識ネットワーク(PRA-Net)という新しいフレームワークを提案する。 領域内構造学習(ISL)モジュールと領域間関係学習(IRL)モジュールで構成されている。 形状分類,キーポイント推定,部分セグメンテーションを含む複数の3次元ベンチマーク実験により,PRA-Netの有効性と性能が検証された。
  論文  参考訳（メタデータ） (2021-12-09T13:24:43Z)
• Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
  提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。 私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
  論文  参考訳（メタデータ） (2021-07-28T03:46:57Z)
• Cross-modal Consensus Network for Weakly Supervised Temporal Action Localization [74.34699679568818]
  時間的行動局所化 (WS-TAL) は、ビデオレベルの分類的監督によって、ビデオ内のアクションインスタンスをローカライズすることを目的とした課題である。 この問題に対処するためのクロスモーダルコンセンサスネットワーク(CO2-Net)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:21:01Z)
• LRC-Net: Learning Discriminative Features on Point Clouds by Encoding Local Region Contexts [65.79931333193016]
  本稿では,LRC-Net(Local-Region-Context Network)を提案する。 LRC-Netは、局所領域内および周辺領域間の微粒なコンテキストを同時に符号化する。 その結果, LRC-Netは形状分類や形状分割の応用において最先端の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2020-03-18T14:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。