論文の概要: Diffusion 3D Features (Diff3F): Decorating Untextured Shapes with
Distilled Semantic Features
- arxiv url: http://arxiv.org/abs/2311.17024v1
- Date: Tue, 28 Nov 2023 18:27:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 17:15:23.950963
- Title: Diffusion 3D Features (Diff3F): Decorating Untextured Shapes with
Distilled Semantic Features
- Title(参考訳): diffusion 3d features (diff3f): 蒸留意味特徴を用いた非テキスト形状の装飾
- Authors: Niladri Shekhar Dutt, Sanjeev Muralikrishnan, Niloy J. Mitra
- Abstract要約: Diff3Fは、無テクスチャ入力のための堅牢でクラスに依存しない特徴記述子である。
追加のデータやトレーニングを必要とせずに、入力形状のセマンティックな特徴を生成します。
- 参考スコア(独自算出の注目度): 30.844193669788506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Diff3F as a simple, robust, and class-agnostic feature descriptor
that can be computed for untextured input shapes (meshes or point clouds). Our
method distills diffusion features from image foundational models onto input
shapes. Specifically, we use the input shapes to produce depth and normal maps
as guidance for conditional image synthesis, and in the process produce
(diffusion) features in 2D that we subsequently lift and aggregate on the
original surface. Our key observation is that even if the conditional image
generations obtained from multi-view rendering of the input shapes are
inconsistent, the associated image features are robust and can be directly
aggregated across views. This produces semantic features on the input shapes,
without requiring additional data or training. We perform extensive experiments
on multiple benchmarks (SHREC'19, SHREC'20, and TOSCA) and demonstrate that our
features, being semantic instead of geometric, produce reliable correspondence
across both isometeric and non-isometrically related shape families.
- Abstract(参考訳): diff3f は、単純な、ロバストで、クラスに依存しない特徴記述子であり、テキスト化されていない入力形式(meshesまたはpoint clouds)で計算できる。
本手法は,画像基礎モデルから入力形状への拡散特性を蒸留する。
具体的には、入力形状を用いて、条件付き画像合成のガイダンスとして深度と正規マップを作成し、その過程で元の表面に持ち上げて集約する2Dの特徴(拡散)を生成する。
入力形状のマルチビューレンダリングから得られた条件付き画像生成が一貫性に欠ける場合でも,関連する画像特徴は堅牢であり,ビュー間で直接集約することが可能である。
これにより、追加のデータやトレーニングを必要とせずに、入力形状にセマンティックな特徴が生成される。
我々は、複数のベンチマーク(SHREC'19, SHREC'20, TOSCA)で広範囲に実験を行い、幾何学的ではなく意味論的に、等尺的および非等尺的形状のファミリ間の信頼性の高い対応性を示す。
関連論文リスト
- Few-shot Shape Recognition by Learning Deep Shape-aware Features [39.66613852292122]
サンプル1枚または数枚のみのオブジェクト形状を認識するために,FSSD ( fewshot shape descriptor) を提案する。
我々はFSSDに埋め込みモジュールを用いて変換不変形状の特徴を抽出する。
第3に,形状マスクとエッジの監視を含むデコードモジュールを提案し,元の形状特徴と再構成形状特徴を整列する。
論文 参考訳(メタデータ) (2023-12-03T08:12:23Z) - Surf-D: High-Quality Surface Generation for Arbitrary Topologies using
Diffusion Models [84.70704129551245]
Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。
UDFは任意のトポロジを扱うのに優れており、複雑な形状を生成することができる。
論文 参考訳(メタデータ) (2023-11-28T18:56:01Z) - Explorable Mesh Deformation Subspaces from Unstructured Generative
Models [53.23510438769862]
3次元形状の深い生成モデルは、しばしば潜在的な変動を探索するために使用できる連続的な潜伏空間を特徴付ける。
本研究では,手軽に探索可能な2次元探索空間から事前学習された生成モデルのサブ空間へのマッピングを構築することで,与えられたランドマーク形状の集合間のバリエーションを探索する手法を提案する。
論文 参考訳(メタデータ) (2023-10-11T18:53:57Z) - Hybrid Neural Diffeomorphic Flow for Shape Representation and Generation
via Triplane [16.684276798449115]
HNDFは、基礎となる表現を暗黙的に学習し、複雑な高密度対応を明示的に軸整列三面体特徴に分解する手法である。
新しい3次元形状を直接生成する従来の手法とは異なり、微分同相流による変形テンプレート形状による形状生成の考え方を探求する。
論文 参考訳(メタデータ) (2023-07-04T23:28:01Z) - Zero-Shot 3D Shape Correspondence [67.18775201037732]
本稿では,3次元形状間の対応性を計算するためのゼロショット手法を提案する。
我々は、最近の基礎モデルの言語と視覚における例外的な推論能力を活用している。
提案手法は, 強い非等尺形状の間において, ゼロショット方式で高確率な結果をもたらす。
論文 参考訳(メタデータ) (2023-06-05T21:14:23Z) - Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers [8.781861951759948]
本稿では,画像分類の性能向上のために,変形空間における変形可能な形状を学習する最初のディープラーニングモデルGeo-SICを提案する。
画像空間と潜時形状空間の両方から特徴を同時に導出する,クラス内変動の大きい新設計のフレームワークを提案する。
幾何学的形状表現の教師なし学習を取り入れた強化型分類網を開発した。
論文 参考訳(メタデータ) (2022-10-25T01:55:17Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳(メタデータ) (2022-04-21T03:42:31Z) - 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow [61.62796058294777]
単一の2D画像から3D形状を再構築することは難しい作業だ。
従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。
本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
論文 参考訳(メタデータ) (2022-03-29T02:03:31Z) - ShapeFormer: Transformer-based Shape Completion via Sparse
Representation [41.33457875133559]
本稿では,不完全でノイズの多い点雲に条件付きオブジェクト完了の分布を生成するネットワークであるShapeFormerを提案する。
結果の分布をサンプリングして、入力に忠実な状態で、それぞれがもっともらしい形状の詳細を示す、可能性のある完了を生成する。
論文 参考訳(メタデータ) (2022-01-25T13:58:30Z) - Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。
我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。
提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
論文 参考訳(メタデータ) (2020-11-30T06:01:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。