論文の概要: Unsupervised Non-Rigid Point Cloud Matching through Large Vision Models
- arxiv url: http://arxiv.org/abs/2408.08568v1
- Date: Fri, 16 Aug 2024 07:02:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 16:17:46.712036
- Title: Unsupervised Non-Rigid Point Cloud Matching through Large Vision Models
- Title(参考訳): 大規模視覚モデルによる非教師なし非ライダー点雲マッチング
- Authors: Zhangquan Chen, Puhua Jiang, Ruqi Huang,
- Abstract要約: 非剛点クラウドマッチングのための学習ベースのフレームワークを提案する。
重要な洞察は、大きな視覚モデル(LVM)から派生した意味的特徴を統合することである。
本フレームワークは,局所的な地形間の自己相似性から生じるあいまいさに対処するために,意味的特徴に含まれる構造情報を効果的に活用する。
- 参考スコア(独自算出の注目度): 1.3030624795284795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a novel learning-based framework for non-rigid point cloud matching, which can be trained purely on point clouds without any correspondence annotation but also be extended naturally to partial-to-full matching. Our key insight is to incorporate semantic features derived from large vision models (LVMs) to geometry-based shape feature learning. Our framework effectively leverages the structural information contained in the semantic features to address ambiguities arise from self-similarities among local geometries. Furthermore, our framework also enjoys the strong generalizability and robustness regarding partial observations of LVMs, leading to improvements in the regarding point cloud matching tasks. In order to achieve the above, we propose a pixel-to-point feature aggregation module, a local and global attention network as well as a geometrical similarity loss function. Experimental results show that our method achieves state-of-the-art results in matching non-rigid point clouds in both near-isometric and heterogeneous shape collection as well as more realistic partial and noisy data.
- Abstract(参考訳): 本稿では,非剛性点クラウドマッチングのための新しい学習ベースフレームワークを提案する。これは,対応アノテーションを使わずに純粋に点クラウド上で訓練できるが,部分対フルマッチングにも自然に拡張できる。
我々の重要な洞察は、大きな視覚モデル(LVM)から派生した意味的特徴を幾何学に基づく形状特徴学習に取り入れることである。
本フレームワークは,局所的な地形間の自己相似性から生じるあいまいさに対処するために,意味的特徴に含まれる構造情報を効果的に活用する。
さらに,我々のフレームワークは,LVMの部分的な観察に関する強い一般化性とロバスト性も享受しており,点クラウドマッチングタスクの改善につながっている。
そこで本研究では,画素間特徴集合モジュール,局所的及びグローバルな注目ネットワーク,および幾何学的類似性損失関数を提案する。
実験結果から,本手法はより現実的な部分的・雑音的データだけでなく,非剛性点群をほぼ等尺的および異質な形状の収集に適合させることができた。
関連論文リスト
- Self-supervised 3D Point Cloud Completion via Multi-view Adversarial Learning [61.14132533712537]
我々は、オブジェクトレベルとカテゴリ固有の幾何学的類似性の両方を効果的に活用するフレームワークであるMAL-SPCを提案する。
私たちのMAL-SPCは3Dの完全な監視を一切必要とせず、各オブジェクトに1つの部分点クラウドを必要とするだけです。
論文 参考訳(メタデータ) (2024-07-13T06:53:39Z) - Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud
Analysis [74.00441177577295]
ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。
本稿では,軽量点雲モデルのための特徴蒸留について検討する。
本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
論文 参考訳(メタデータ) (2023-10-08T11:32:50Z) - Variational Relational Point Completion Network for Robust 3D
Classification [59.80993960827833]
可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。
本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。
VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-04-18T17:03:20Z) - Self-Supervised Learning for Multimodal Non-Rigid 3D Shape Matching [15.050801537501462]
我々は、メッシュベースの関数マップ正規化と、メッシュとポイントクラウドデータを結合する対照的な損失を組み合わせた、自己教師型マルチモーダル学習戦略を導入する。
我々の形状マッチングアプローチは、三角形メッシュ、完全点雲、部分的に観察された点雲のモード内対応を得ることを可能にする。
提案手法は,いくつかの挑戦的なベンチマークデータセットに対して,最先端の結果を達成できることを実証する。
論文 参考訳(メタデータ) (2023-03-20T09:47:02Z) - Self-Supervised Feature Learning from Partial Point Clouds via Pose
Disentanglement [35.404285596482175]
部分点雲から情報表現を学習するための,新たな自己教師型フレームワークを提案する。
コンテンツとポーズ属性の両方を含むLiDARでスキャンされた部分点雲を利用する。
提案手法は,既存の自己教師付き手法に勝るだけでなく,合成および実世界のデータセット間でのより優れた一般化性を示す。
論文 参考訳(メタデータ) (2022-01-09T14:12:50Z) - Semantic Segmentation for Real Point Cloud Scenes via Bilateral
Augmentation and Adaptive Fusion [38.05362492645094]
現実世界の複雑な環境を直感的に捉えることができますが、3Dデータの生の性質のため、機械認識にとって非常に困難です。
我々は、現実に収集された大規模クラウドデータに対して、重要な視覚的タスク、セマンティックセグメンテーションに集中する。
3つのベンチマークで最先端のネットワークと比較することにより,ネットワークの有効性を実証する。
論文 参考訳(メタデータ) (2021-03-12T04:13:20Z) - 3D Object Classification on Partial Point Clouds: A Practical
Perspective [91.81377258830703]
点雲は3次元オブジェクト分類において一般的な形状表現である。
本稿では,任意のポーズの下でオブジェクトインスタンスの部分点雲を分類する実践的な設定を提案する。
本稿では,アライメント分類手法による新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-18T04:00:56Z) - SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine
Reconstruction with Self-Projection Optimization [52.20602782690776]
実際のスキャンされたスパースデータからトレーニング用の大規模なペアリングスパーススキャンポイントセットを得るのは高価で面倒です。
本研究では,SPU-Net と呼ばれる自己監視型点群アップサンプリングネットワークを提案する。
本研究では,合成データと実データの両方について様々な実験を行い,最先端の教師付き手法と同等の性能が得られることを示す。
論文 参考訳(メタデータ) (2020-12-08T14:14:09Z) - Mapping in a cycle: Sinkhorn regularized unsupervised learning for point
cloud shapes [47.49826669394906]
点雲形状間の密接な対応を見つけるための教師なし学習フレームワークを提案する。
点クラウドデータから識別点的特徴を学習するために、シンクホーン正規化に基づく正規化項を定式化する。
そこで本研究では, 部分分割性能を向上させるために, 教師付き手法により, 学習ポイントワイドな特徴を活用できることを述べる。
論文 参考訳(メタデータ) (2020-07-19T05:21:33Z) - Shape-Oriented Convolution Neural Network for Point Cloud Analysis [59.405388577930616]
ポイントクラウドは3次元幾何学情報符号化に採用されている主要なデータ構造である。
形状指向型メッセージパッシング方式であるShapeConvを提案する。
論文 参考訳(メタデータ) (2020-04-20T16:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。