論文の概要: Zero-Shot 3D Shape Correspondence
- arxiv url: http://arxiv.org/abs/2306.03253v1
- Date: Mon, 5 Jun 2023 21:14:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 18:20:33.793018
- Title: Zero-Shot 3D Shape Correspondence
- Title（参考訳）: ゼロショット3次元形状対応
- Authors: Ahmed Abdelreheem, Abdelrahman Eldesokey, Maks Ovsjanikov, Peter Wonka
- Abstract要約: 本稿では,3次元形状間の対応性を計算するためのゼロショット手法を提案する。
言語と視覚における最近の基礎モデルの推論能力を利用する。
提案手法は, 強い非等尺形状の間において, ゼロショット方式で高確率な結果をもたらす。
- 参考スコア（独自算出の注目度）: 61.65166783967529
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a novel zero-shot approach to computing correspondences between 3D
shapes. Existing approaches mainly focus on isometric and near-isometric shape
pairs (e.g., human vs. human), but less attention has been given to strongly
non-isometric and inter-class shape matching (e.g., human vs. cow). To this
end, we introduce a fully automatic method that exploits the exceptional
reasoning capabilities of recent foundation models in language and vision to
tackle difficult shape correspondence problems. Our approach comprises multiple
stages. First, we classify the 3D shapes in a zero-shot manner by feeding
rendered shape views to a language-vision model (e.g., BLIP2) to generate a
list of class proposals per shape. These proposals are unified into a single
class per shape by employing the reasoning capabilities of ChatGPT. Second, we
attempt to segment the two shapes in a zero-shot manner, but in contrast to the
co-segmentation problem, we do not require a mutual set of semantic regions.
Instead, we propose to exploit the in-context learning capabilities of ChatGPT
to generate two different sets of semantic regions for each shape and a
semantic mapping between them. This enables our approach to match strongly
non-isometric shapes with significant differences in geometric structure.
Finally, we employ the generated semantic mapping to produce coarse
correspondences that can further be refined by the functional maps framework to
produce dense point-to-point maps. Our approach, despite its simplicity,
produces highly plausible results in a zero-shot manner, especially between
strongly non-isometric shapes.
- Abstract（参考訳）: 3次元形状間の対応を計算するための新しいゼロショット法を提案する。
既存のアプローチは主に等尺形と近等尺形(例えば、人間対人間)に焦点を当てているが、非等尺型とクラス間(例えば、人間対牛)の形状マッチングにはあまり注意が払われていない。
そこで本研究では,近年の言語と視覚における基礎モデルの例外的推論機能を利用して,難解な形状対応問題に対処する完全自動手法を提案する。
我々のアプローチは複数の段階からなる。
まず、描画された形状ビューを言語ビジョンモデル(例えばblip2)に供給することにより、ゼロショット方式で3d形状を分類し、形状ごとのクラス提案のリストを生成する。
これらの提案は、ChatGPTの推論機能を利用することで、フォームごとに単一のクラスに統合される。
第2に,2つの形状をゼロショット方式で分割しようとするが,共セグメンテーション問題とは対照的に,意味領域の相互集合は不要である。
そこで本研究では,ChatGPTのコンテキスト内学習機能を利用して,各形状のセマンティック領域とそれらの間のセマンティックマッピングを生成する。
これにより,強い非等尺性形状と幾何学的構造の違いを一致させることができる。
最後に, 生成した意味マッピングを用いて, 関数マップフレームワークによりさらに洗練され, 密接な点対点写像を生成できる粗い対応を生成する。
我々のアプローチは、単純さにもかかわらず、特に非等尺形状の強い間において、ゼロショット方式で非常に妥当な結果をもたらす。
関連論文リスト
- Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。
具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
論文 参考訳（メタデータ） (2023-12-17T04:50:24Z) - Geometrically-driven Aggregation for Zero-shot 3D Point Cloud Understanding [11.416392706435415]
ゼロショット3Dポイントクラウド理解は2Dビジョンランゲージモデル(VLM)によって達成できる
既存の戦略は、ヴィジュアル・ランゲージ・モデル(Vision-Language Model)をレンダリングまたはキャプチャされた2Dピクセルから3Dポイントにマッピングし、固有かつ表現可能な雲の幾何学構造を見渡す。
本稿では, 点雲の3次元幾何学的構造を利用して, 移動したビジョン・ランゲージモデルの品質を向上させるための, 初となるトレーニングフリーアグリゲーション手法を提案する。
論文 参考訳（メタデータ） (2023-12-04T12:30:07Z) - Unsupervised Representation Learning for Diverse Deformable Shape
Collections [30.271818994854353]
本稿では,3次元表面メッシュを符号化し,操作するための新しい学習手法を提案する。
本手法は,変形可能な形状収集のための解釈可能な埋め込み空間を作成するために設計されている。
論文 参考訳（メタデータ） (2023-10-27T13:45:30Z) - Geometrically Consistent Partial Shape Matching [50.29468769172704]
3次元形状の対応を見つけることは、コンピュータビジョンとグラフィックスにおいて重要な問題である。
しばしば無視されるが、整合幾何学の重要な性質は整合性である。
本稿では,新しい整数型線形計画部分形状整合式を提案する。
論文 参考訳（メタデータ） (2023-09-10T12:21:42Z) - Neural Semantic Surface Maps [52.61017226479506]
本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。
提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
論文 参考訳（メタデータ） (2023-09-09T16:21:56Z) - Topologically-Aware Deformation Fields for Single-View 3D Reconstruction [30.738926104317514]
本稿では,非整合なカテゴリ固有の画像収集から3次元オブジェクト形状と密接なオブジェクト対応を学習するための新しいフレームワークを提案する。
3次元形状は、カテゴリー固有符号距離場への変形として暗黙的に生成される。
TARSと呼ばれる我々の手法は、いくつかのデータセット上で最先端の再構築忠実性を実現する。
論文 参考訳（メタデータ） (2022-05-12T17:59:59Z) - Learning 3D Dense Correspondence via Canonical Point Autoencoder [108.20735652143787]
同一カテゴリの3次元形状間の密接な対応を予測できる標準点オートエンコーダ(CPAE)を提案する。
オートエンコーダは、2つの重要な機能を実行する: (a) 任意に順序付けられた点雲を標準プリミティブに符号化し、 (b) プリミティブを元の入力インスタンス形状に復号する。
論文 参考訳（メタデータ） (2021-07-10T15:54:48Z) - NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One
Go [109.88509362837475]
入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。
NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。
異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
論文 参考訳（メタデータ） (2021-06-17T12:25:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。