論文の概要: Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis

• arxiv url: http://arxiv.org/abs/2210.04208v1
• Date: Sun, 9 Oct 2022 09:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:28:00.382598
• Title: Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis
• Title（参考訳）: 画像で詳しく分かる:point cloudのクロスモーダル訓練による形状分析
• Authors: Xu Yan, Heshen Zhan, Chaoda Zheng, Jiantao Gao, Ruimao Zhang, Shuguang Cui, Zhen Li
• Abstract要約: 本稿では、ポイントクラウド分析を促進するために、シンプルだが効果的なポイントクラウドクロスモダリティトレーニング(PointCMT)戦略を導入する。 ビューイメージから補助的知識を効果的に獲得するために,教師学生のための枠組みを開発し,知識蒸留問題としてクロスモーダル学習を定式化する。 我々は、魅力的なバックボーン、すなわちPointCMT、PointNet++、PointMLPを備えた様々なデータセットにおいて、大きな利益を検証した。
• 参考スコア（独自算出の注目度）: 43.13887916301742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although recent point cloud analysis achieves impressive progress, the paradigm of representation learning from a single modality gradually meets its bottleneck. In this work, we take a step towards more discriminative 3D point cloud representation by fully taking advantages of images which inherently contain richer appearance information, e.g., texture, color, and shade. Specifically, this paper introduces a simple but effective point cloud cross-modality training (PointCMT) strategy, which utilizes view-images, i.e., rendered or projected 2D images of the 3D object, to boost point cloud analysis. In practice, to effectively acquire auxiliary knowledge from view images, we develop a teacher-student framework and formulate the cross modal learning as a knowledge distillation problem. PointCMT eliminates the distribution discrepancy between different modalities through novel feature and classifier enhancement criteria and avoids potential negative transfer effectively. Note that PointCMT effectively improves the point-only representation without architecture modification. Sufficient experiments verify significant gains on various datasets using appealing backbones, i.e., equipped with PointCMT, PointNet++ and PointMLP achieve state-of-the-art performance on two benchmarks, i.e., 94.4% and 86.7% accuracy on ModelNet40 and ScanObjectNN, respectively. Code will be made available at https://github.com/ZhanHeshen/PointCMT.
• Abstract（参考訳）: 最近のクラウド分析は目覚ましい進歩を遂げているが、単一のモダリティからの表現学習のパラダイムはそのボトルネックを徐々に満たしている。 本研究では,テクスチャ,色,日陰など,よりリッチな外観情報を含む画像の利点を生かして,より差別的な3Dポイントクラウド表現への一歩を踏み出した。 具体的には、3Dオブジェクトの2D画像のレンダリングや投影といったビューイメージを利用して、ポイントクラウド分析を促進する、シンプルだが効果的なポイントクラウドクロスモダリティトレーニング(PointCMT)戦略を提案する。 実際に,ビューイメージから補助的知識を効果的に獲得するために,教師・学生の枠組みを開発し,知識蒸留問題としてクロスモーダル学習を定式化する。 PointCMTは、新しい特徴と分類器拡張基準を通じて異なるモード間の分布差を排除し、潜在的負の移動を効果的に回避する。 PointCMTは、アーキテクチャの変更なしに、ポイントのみの表現を効果的に改善する。 十分な実験により、魅力的なバックボーン、すなわちPointCMT、PointNet++、PointMLPが2つのベンチマーク、すなわちModelNet40とScanObjectNNでそれぞれ94.4%と86.7%の精度で最先端のパフォーマンスを達成した。 コードはhttps://github.com/ZhanHeshen/PointCMTで公開される。

関連論文リスト

• Pic@Point: Cross-Modal Learning by Local and Global Point-Picture Correspondence [0.0]
  構造的2D-3D対応に基づく効果的なコントラスト学習手法であるPic@Pointを提案する。 我々は,意味的および文脈的知識に富んだイメージキューを活用して,ポイントクラウド表現のガイド信号を提供する。
  論文  参考訳（メタデータ） (2024-10-12T12:43:41Z)
• HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
  本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。 提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-03-18T14:18:08Z)
• Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration [17.420425069785946]
  本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。 まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。 コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
  論文  参考訳（メタデータ） (2023-11-02T12:56:47Z)
• Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
  本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。 現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。 我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
  論文  参考訳（メタデータ） (2023-07-27T03:42:12Z)
• Intrinsic Image Decomposition Using Point Cloud Representation [13.771632868567277]
  本稿では3次元クラウドデータを利用してアルベドとシェーディングマップを同時に推定するPoint Intrinsic Net(PoInt-Net)を紹介する。 PoInt-Netは効率的で、任意のサイズのポイントクラウドで一貫したパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-07-20T14:51:28Z)
• CLR-GAM: Contrastive Point Cloud Learning with Guided Augmentation and Feature Mapping [12.679625717350113]
  本稿では、効率的な動的探索戦略のためのガイド拡張(GA)を備えた対照的な学習ベースのフレームワークであるCLR-GAMを提案する。 提案手法がシミュレーションおよび実世界の3Dポイントクラウドデータセット上で最先端のパフォーマンスを実現することを実証的に実証した。
  論文  参考訳（メタデータ） (2023-02-28T04:38:52Z)
• Ponder: Point Cloud Pre-training via Neural Rendering [93.34522605321514]
  本稿では,識別可能なニューラルエンコーダによる点雲表現の自己教師型学習手法を提案する。 学習したポイントクラウドは、3D検出やセグメンテーションといったハイレベルなレンダリングタスクだけでなく、3D再構成や画像レンダリングといった低レベルなタスクを含む、さまざまなダウンストリームタスクに簡単に統合できる。
  論文  参考訳（メタデータ） (2022-12-31T08:58:39Z)
• P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting [94.11915008006483]
  本稿では,ポイントクラウド解析のための新しいポイント・ツー・Pixelを提案する。 ScanObjectNNの最も難しい設定では,89.3%の精度が得られる。 また,本フレームワークは,ModelNet分類とShapeNet Part Codeで非常に競争力のある性能を示す。
  論文  参考訳（メタデータ） (2022-08-04T17:59:03Z)
• CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding [2.8661021832561757]
  CrossPointは、転送可能な3Dポイントクラウド表現を学習するための、単純なクロスモーダルコントラスト学習アプローチである。 提案手法は,従来の教師なし学習手法よりも,3次元オブジェクト分類やセグメンテーションなど,さまざまな下流タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2022-03-01T18:59:01Z)
• Point Discriminative Learning for Unsupervised Representation Learning on 3D Point Clouds [54.31515001741987]
  3次元点雲上での教師なし表現学習のための点識別学習法を提案する。 我々は、中間レベルとグローバルレベルの特徴に新しい点識別損失を課すことにより、これを達成した。 提案手法は強力な表現を学習し,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-04T15:11:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。