論文の概要: Equivariant Local Reference Frames for Unsupervised Non-rigid Point Cloud Shape Correspondence
- arxiv url: http://arxiv.org/abs/2404.00959v1
- Date: Mon, 1 Apr 2024 06:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 23:06:39.321911
- Title: Equivariant Local Reference Frames for Unsupervised Non-rigid Point Cloud Shape Correspondence
- Title（参考訳）: 非教師なし点雲形状対応のための等変局所参照フレーム
- Authors: Ling Wang, Runfa Chen, Yikai Wang, Fuchun Sun, Xinzhou Wang, Sun Kai, Guangyuan Fu, Jianwei Zhang, Wenbing Huang,
- Abstract要約: EquiShapeは空間的および意味的整合性の両方に大域的な構造的手がかりを持つペアワイズLRFを学習するための新しい構造である。
また,LRF法に適用可能な最適化手法であるLRF-Refineを提案する。
われわれのフレームワークは3つのベンチマークで最先端の手法をはるかに上回っている。
- 参考スコア（独自算出の注目度）: 29.58888279920068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised non-rigid point cloud shape correspondence underpins a multitude of 3D vision tasks, yet itself is non-trivial given the exponential complexity stemming from inter-point degree-of-freedom, i.e., pose transformations. Based on the assumption of local rigidity, one solution for reducing complexity is to decompose the overall shape into independent local regions using Local Reference Frames (LRFs) that are invariant to SE(3) transformations. However, the focus solely on local structure neglects global geometric contexts, resulting in less distinctive LRFs that lack crucial semantic information necessary for effective matching. Furthermore, such complexity introduces out-of-distribution geometric contexts during inference, thus complicating generalization. To this end, we introduce 1) EquiShape, a novel structure tailored to learn pair-wise LRFs with global structural cues for both spatial and semantic consistency, and 2) LRF-Refine, an optimization strategy generally applicable to LRF-based methods, aimed at addressing the generalization challenges. Specifically, for EquiShape, we employ cross-talk within separate equivariant graph neural networks (Cross-GVP) to build long-range dependencies to compensate for the lack of semantic information in local structure modeling, deducing pair-wise independent SE(3)-equivariant LRF vectors for each point. For LRF-Refine, the optimization adjusts LRFs within specific contexts and knowledge, enhancing the geometric and semantic generalizability of point features. Our overall framework surpasses the state-of-the-art methods by a large margin on three benchmarks. Code and models will be publicly available.
- Abstract（参考訳）: 教師なしの非剛点雲の形状対応は、多くの3次元視覚タスクを支えるが、それ自身は、点間自由度から生じる指数的複雑性、すなわち、ポーズ変換から生じる指数的複雑性を考えると、自明ではない。
局所剛性の仮定に基づいて、複雑さを減らす一つの解決策は、SE(3)変換に不変な局所参照フレーム(LRF)を用いて、全体形状を独立した局所領域に分解することである。
しかし、局所構造のみに焦点が当てられることは、グローバルな幾何学的文脈を無視するものであり、結果として、効果的なマッチングに必要な重要な意味情報が欠如している、独特なLRFは無視される。
さらに、そのような複雑さは推論中の分布外幾何学的文脈を導入し、一般化を複雑にする。
この目的のために紹介する。
1EquiShapeは、空間的・意味的整合性のためのグローバルな構造的手がかりを持つペアワイズLRFの学習に適した新しい構造である。
2) LRF-Refineは一般化問題に対処することを目的とした最適化手法である。
具体的には、EquiShapeでは、異なる同変グラフニューラルネットワーク(Cross-GVP)内でクロストークを用いて、局所構造モデリングにおける意味情報の欠如を補うために長距離依存を構築し、各点に対してペア独立なSE(3)-等変LRFベクトルを導出する。
LRF-Refineの場合、最適化は特定の文脈や知識内でのLRFを調整し、点特徴の幾何学的および意味的一般化性を向上する。
われわれのフレームワークは3つのベンチマークで最先端の手法をはるかに上回っている。
コードとモデルは公開されます。
関連論文リスト
- Double-Shot 3D Shape Measurement with a Dual-Branch Network [14.749887303860717]
我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。
PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。
提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できることを示す。
論文 参考訳（メタデータ） (2024-07-19T10:49:26Z) - Global-to-Local Modeling for Video-based 3D Human Pose and Shape
Estimation [53.04781510348416]
フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。
エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。
我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
論文 参考訳（メタデータ） (2023-03-26T14:57:49Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Spatio-Temporal Representation Factorization for Video-based Person
Re-Identification [55.01276167336187]
本稿では、re-IDのための時空間表現分解モジュール(STRF)を提案する。
STRFはフレキシブルな新しい計算ユニットであり、re-IDのための既存のほとんどの3D畳み込みニューラルネットワークアーキテクチャと併用することができる。
実験により、STRFは様々なベースラインアーキテクチャの性能を向上し、新しい最先端の成果を示す。
論文 参考訳（メタデータ） (2021-07-25T19:29:37Z) - G$^2$DA: Geometry-Guided Dual-Alignment Learning for RGB-Infrared Person
Re-Identification [3.909938091041451]
RGB-IRの人物再識別は、異種間の興味のある人物を検索することを目的としている。
本稿では,サンプルレベルのモダリティ差に対処するための幾何誘導デュアルアライメント学習フレームワーク(G$2$DA)を提案する。
論文 参考訳（メタデータ） (2021-06-15T03:14:31Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z) - A Rotation-Invariant Framework for Deep Point Cloud Analysis [132.91915346157018]
ネットワーク入力時に一般的な3次元カルト座標を置き換えるために,新しい低レベル純粋回転不変表現を導入する。
また,これらの表現を特徴に組み込むネットワークアーキテクチャを提案し,点とその近傍の局所的関係とグローバルな形状構造を符号化する。
本手法は, 形状分類, 部分分割, 形状検索を含む多点雲解析タスクにおいて評価する。
論文 参考訳（メタデータ） (2020-03-16T14:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。