論文の概要: Neural Semantic Surface Maps

• arxiv url: http://arxiv.org/abs/2309.04836v3
• Date: Fri, 8 Mar 2024 11:28:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:25:29.257939
• Title: Neural Semantic Surface Maps
• Title（参考訳）: ニューラルセマンティックサーフェスマップ
• Authors: Luca Morreale and Noam Aigerman and Vladimir G. Kim and Niloy J. Mitra
• Abstract要約: 本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。 提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
• 参考スコア（独自算出の注目度）: 52.61017226479506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an automated technique for computing a map between two genus-zero shapes, which matches semantically corresponding regions to one another. Lack of annotated data prohibits direct inference of 3D semantic priors; instead, current State-of-the-art methods predominantly optimize geometric properties or require varying amounts of manual annotation. To overcome the lack of annotated training data, we distill semantic matches from pre-trained vision models: our method renders the pair of 3D shapes from multiple viewpoints; the resulting renders are then fed into an off-the-shelf image-matching method which leverages a pretrained visual model to produce feature points. This yields semantic correspondences, which can be projected back to the 3D shapes, producing a raw matching that is inaccurate and inconsistent between different viewpoints. These correspondences are refined and distilled into an inter-surface map by a dedicated optimization scheme, which promotes bijectivity and continuity of the output map. We illustrate that our approach can generate semantic surface-to-surface maps, eliminating manual annotations or any 3D training data requirement. Furthermore, it proves effective in scenarios with high semantic complexity, where objects are non-isometrically related, as well as in situations where they are nearly isometric.
• Abstract（参考訳）: 本稿では,意味的に対応する領域と一致する2つの属ゼロ形状間のマップを自動計算する手法を提案する。 注釈付きデータの欠如は、3dセマンティクスの直接的推論を禁止している。代わりに、現在の最先端の手法は、主に幾何学的特性を最適化するか、あるいは様々な手動アノテーションを必要とする。 注釈付きトレーニングデータの欠如を克服するため,事前学習された視覚モデルからセマンティックマッチを抽出し,複数の視点から2組の3次元形状をレンダリングし,得られたレンダリング結果を,事前学習された視覚モデルを利用して特徴点を生成するオフザシェルフ画像マッチング手法に投入する。 これにより意味対応が得られ、3次元形状に投影され、異なる視点間で不正確で矛盾する生のマッチングが生成される。 これらの対応は、出力マップの単射性と連続性を促進する専用最適化スキームにより、表面マップに精製され、蒸留される。 提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。 さらに、オブジェクトが非等尺的に関連しているような意味複雑性の高いシナリオや、それらがほぼ等尺的な状況において有効であることを示す。

関連論文リスト

• Spectral Meets Spatial: Harmonising 3D Shape Matching and Interpolation [50.376243444909136]
  本稿では,3次元形状の対応と形状の両面を統一的に予測する枠組みを提案する。 我々は、スペクトル領域と空間領域の両方の形状を地図化するために、奥行き関数写像フレームワークと古典的な曲面変形モデルを組み合わせる。
  論文  参考訳（メタデータ） (2024-02-29T07:26:23Z)
• Deformation-Guided Unsupervised Non-Rigid Shape Matching [7.327850781641328]
  非厳密な形状マッチングのための教師なしデータ駆動方式を提案する。 本手法は,3次元スキャナを用いたディジタル形状のマッチングにおいて特に堅牢である。
  論文  参考訳（メタデータ） (2023-11-27T09:55:55Z)
• Volumetric Semantically Consistent 3D Panoptic Mapping [77.13446499924977]
  非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。 マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。 提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
  論文  参考訳（メタデータ） (2023-09-26T08:03:10Z)
• Zero-Shot 3D Shape Correspondence [67.18775201037732]
  本稿では,3次元形状間の対応性を計算するためのゼロショット手法を提案する。 我々は、最近の基礎モデルの言語と視覚における例外的な推論能力を活用している。 提案手法は, 強い非等尺形状の間において, ゼロショット方式で高確率な結果をもたらす。
  論文  参考訳（メタデータ） (2023-06-05T21:14:23Z)
• Unsupervised Learning of Robust Spectral Shape Matching [12.740151710302397]
  頑健な3次元形状マッチングのための新しい学習手法を提案する。 提案手法は, 深い関数型マップ上に構築され, 完全に教師なしの方法で訓練することができる。
  論文  参考訳（メタデータ） (2023-04-27T02:12:47Z)
• NCP: Neural Correspondence Prior for Effective Unsupervised Shape Matching [31.61255365182462]
  我々は3次元形状間の対応を計算するための新しいパラダイムであるニューラル対応優先(NCP)を提案する。 我々のアプローチは完全に教師なしであり、挑戦する場合でも高品質な対応に繋がる可能性がある。 NCPは、多くのタスクにおいて、データ効率、高速、そして最先端の結果であることを示す。
  論文  参考訳（メタデータ） (2023-01-14T07:22:18Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。