論文の概要: Self-supervised Learning of Implicit Shape Representation with Dense
Correspondence for Deformable Objects
- arxiv url: http://arxiv.org/abs/2308.12590v2
- Date: Mon, 25 Dec 2023 13:48:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 22:09:46.982255
- Title: Self-supervised Learning of Implicit Shape Representation with Dense
Correspondence for Deformable Objects
- Title（参考訳）: 変形可能な物体の密対応による暗黙の形状表現の自己教師あり学習
- Authors: Baowen Zhang, Jiahe Li, Xiaoming Deng, Yinda Zhang, Cuixia Ma, Hongan
Wang
- Abstract要約: 変形可能な物体に対する暗黙的形状表現を学習するための,新しい自己教師型アプローチを提案する。
本手法は, 骨格と皮膚の重量の先行を必要とせず, 符号付き距離場で表現される形状の収集のみを必要とする。
我々のモデルは大きな変形を伴う形状を表現することができ、テクスチャ転送や形状編集といった2つの典型的な応用をサポートすることができる。
- 参考スコア（独自算出の注目度）: 26.102490905989338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning 3D shape representation with dense correspondence for deformable
objects is a fundamental problem in computer vision. Existing approaches often
need additional annotations of specific semantic domain, e.g., skeleton poses
for human bodies or animals, which require extra annotation effort and suffer
from error accumulation, and they are limited to specific domain. In this
paper, we propose a novel self-supervised approach to learn neural implicit
shape representation for deformable objects, which can represent shapes with a
template shape and dense correspondence in 3D. Our method does not require the
priors of skeleton and skinning weight, and only requires a collection of
shapes represented in signed distance fields. To handle the large deformation,
we constrain the learned template shape in the same latent space with the
training shapes, design a new formulation of local rigid constraint that
enforces rigid transformation in local region and addresses local reflection
issue, and present a new hierarchical rigid constraint to reduce the ambiguity
due to the joint learning of template shape and correspondences. Extensive
experiments show that our model can represent shapes with large deformations.
We also show that our shape representation can support two typical
applications, such as texture transfer and shape editing, with competitive
performance. The code and models are available at
https://iscas3dv.github.io/deformshape
- Abstract（参考訳）: 変形可能な物体の高密度対応による3次元形状表現の学習は、コンピュータビジョンの基本的な問題である。
既存のアプローチでは、例えば、人間の体や動物に対する骨格のポーズのような特定の意味領域のアノテーションが必要であり、追加のアノテーションの努力を必要とし、エラーの蓄積に苦しむ。
本稿では, 変形可能な物体に対するニューラルな暗黙的形状表現を学習し, テンプレート形状と高密度対応を3次元で表現できる, 自己教師型手法を提案する。
本手法は, 骨格と皮膚の重量の先行を必要とせず, 符号付き距離場で表現される形状の収集のみを必要とする。
この大きな変形に対処するために,学習したテンプレート形状をトレーニング形状と同一の潜在空間に拘束し,局所領域の剛性変換を強制し局所反射問題に対処する局所剛性制約の新しい定式化をデザインし,テンプレート形状と対応の合同学習による曖昧さを低減するための新しい階層的剛性制約を提案する。
広範な実験により, 模型は大きな変形を伴う形状を表現できることがわかった。
また,我々の形状表現は,テクスチャ転送と形状編集という2つの典型的な応用を競合性能でサポートできることを示した。
コードとモデルはhttps://iscas3dv.github.io/deformshapeで入手できる。
関連論文リスト
- Explorable Mesh Deformation Subspaces from Unstructured Generative
Models [53.23510438769862]
3次元形状の深い生成モデルは、しばしば潜在的な変動を探索するために使用できる連続的な潜伏空間を特徴付ける。
本研究では,手軽に探索可能な2次元探索空間から事前学習された生成モデルのサブ空間へのマッピングを構築することで,与えられたランドマーク形状の集合間のバリエーションを探索する手法を提案する。
論文 参考訳（メタデータ） (2023-10-11T18:53:57Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - Identity-Disentangled Neural Deformation Model for Dynamic Meshes [8.826835863410109]
我々は、暗黙の神経機能を用いたポーズ依存的な変形から、同一性によって引き起こされる形状変化を歪曲する神経変形モデルを学ぶ。
本稿では,大域的ポーズアライメントとニューラル変形モデルを統合する2つの手法を提案する。
また, 固定テンプレートの制約を伴わずにヤシの印刷や腱などの表面の細部を再構築する際に, 従来の骨格駆動モデルよりも優れていた。
論文 参考訳（メタデータ） (2021-09-30T17:43:06Z) - Augmenting Implicit Neural Shape Representations with Explicit
Deformation Fields [95.39603371087921]
入射神経表現は、ニューラルネットワークのゼロレベルセットとして形状収集を学ぶための最近のアプローチである。
我々は,暗黙的ニューラル表現に対する変形認識正規化を提唱し,遅延コードの変化として可塑性変形を生成することを目的とした。
論文 参考訳（メタデータ） (2021-08-19T22:07:08Z) - SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural
Implicit Shapes [117.76767853430243]
SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。
反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。
最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
論文 参考訳（メタデータ） (2021-04-08T17:54:59Z) - Joint Learning of 3D Shape Retrieval and Deformation [43.359465703912676]
対象画像やスキャンと一致する高品質な3dモデルを作成するための新しい手法を提案する。
本手法は,既存の形状を3dモデルデータベースから検索し,その形状に適合するように変形する手法である。
論文 参考訳（メタデータ） (2021-01-19T22:49:41Z) - Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。
我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。
提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
論文 参考訳（メタデータ） (2020-11-30T06:01:49Z) - Deformed Implicit Field: Modeling 3D Shapes with Learned Dense
Correspondence [30.849927968528238]
本稿では,カテゴリの3次元形状をモデル化するための新しいDeformed Implicit Field表現を提案する。
我々のニューラルネットワーク、DIF-Netは、カテゴリに属する3Dオブジェクトの形状潜在空間とこれらのフィールドを共同で学習する。
実験により、DIF-Netは高忠実度3次元形状を生成するだけでなく、異なる形状の高品位密度対応を生成することが示された。
論文 参考訳（メタデータ） (2020-11-27T10:45:26Z) - PatchNets: Patch-Based Generalizable Deep Implicit 3D Shape
Representations [75.42959184226702]
物体認識訓練のための中級パッチベースサーフェス表現を提案する。
形状や部分点雲の完全化など,新しい表現の応用例をいくつか紹介する。
論文 参考訳（メタデータ） (2020-08-04T15:34:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。