論文の概要: DragD3D: Vertex-based Editing for Realistic Mesh Deformations using 2D
Diffusion Priors
- arxiv url: http://arxiv.org/abs/2310.04561v1
- Date: Fri, 6 Oct 2023 19:55:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 17:38:27.501093
- Title: DragD3D: Vertex-based Editing for Realistic Mesh Deformations using 2D
Diffusion Priors
- Title(参考訳): DragD3D:2次元拡散プリミティブを用いた実効性メッシュ変形のための頂点ベース編集
- Authors: Tianhao Xie, Eugene Belilovsky, Sudhir Mudur, Tiberiu Popa
- Abstract要約: DragD3Dは、グローバルなコンテキスト認識現実的変形のための局所メッシュ編集手法である。
我々の変形は, 物体のグローバルな文脈を現実的に認識し, 幾何学的正則化よりも優れた結果が得られることを示す。
- 参考スコア(独自算出の注目度): 11.312715079259723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Direct mesh editing and deformation are key components in the geometric
modeling and animation pipeline. Direct mesh editing methods are typically
framed as optimization problems combining user-specified vertex constraints
with a regularizer that determines the position of the rest of the vertices.
The choice of the regularizer is key to the realism and authenticity of the
final result. Physics and geometry-based regularizers are not aware of the
global context and semantics of the object, and the more recent deep learning
priors are limited to a specific class of 3D object deformations. In this work,
our main contribution is a local mesh editing method called DragD3D for global
context-aware realistic deformation through direct manipulation of a few
vertices. DragD3D is not restricted to any class of objects. It achieves this
by combining the classic geometric ARAP (as rigid as possible) regularizer with
2D priors obtained from a large-scale diffusion model. Specifically, we render
the objects from multiple viewpoints through a differentiable renderer and use
the recently introduced DDS loss which scores the faithfulness of the rendered
image to one from a diffusion model. DragD3D combines the approximate gradients
of the DDS with gradients from the ARAP loss to modify the mesh vertices via
neural Jacobian field, while also satisfying vertex constraints. We show that
our deformations are realistic and aware of the global context of the objects,
and provide better results than just using geometric regularizers.
- Abstract(参考訳): 直接メッシュ編集と変形は幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。
直接メッシュ編集法は、通常、ユーザ指定の頂点制約と他の頂点の位置を決定する正規化器を組み合わせた最適化問題としてフレーム化される。
正則化器の選択は、最終的な結果の現実性と信頼性の鍵となる。
物理と幾何学に基づく正規化器は、対象のグローバルな文脈や意味を意識せず、より最近のディープラーニングの先行は、特定の3次元オブジェクトの変形のクラスに限られる。
本研究では,いくつかの頂点を直接操作することで,グローバルコンテキストを認識可能な現実的な変形を実現するために,dugd3dと呼ばれる局所メッシュ編集手法を提案する。
DragD3Dは任意の種類のオブジェクトに制限されない。
これは、古典幾何学的ARAP正規化器と大規模拡散モデルから得られた2次元先行値を組み合わせることで実現される。
具体的には、微分可能なレンダラを用いて複数の視点からオブジェクトをレンダリングし、最近導入されたDDS損失を用いて、画像の忠実度を拡散モデルから評価する。
DragD3Dは、DDSの近似勾配とARAP損失からの勾配を組み合わせて、神経ジャコビアン場を介してメッシュ頂点を修正し、頂点制約を満たす。
我々の変形は, 物体のグローバルな文脈を現実的に認識し, 幾何学的正則化よりも優れた結果が得られることを示す。
関連論文リスト
- DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。
我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
論文 参考訳(メタデータ) (2024-05-09T14:34:05Z) - ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。
現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
論文 参考訳(メタデータ) (2024-03-28T18:50:19Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳(メタデータ) (2024-03-18T04:01:26Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳(メタデータ) (2023-07-19T10:44:44Z) - TextDeformer: Geometry Manipulation using Text Guidance [37.02412892926677]
本稿では,テキストプロンプトのみで案内される入力三角形メッシュの変形を生成する手法を提案する。
私たちのフレームワークは、CLIPやDINOといった強力なトレーニング済み画像エンコーダとジオメトリを接続するために、微分可能なレンダリングに依存しています。
この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、グローバルでスムーズな方法で変形を更新する。
論文 参考訳(メタデータ) (2023-04-26T07:38:41Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。
これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。
本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
論文 参考訳(メタデータ) (2022-07-20T17:47:22Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳(メタデータ) (2022-04-09T03:46:18Z) - Learning Free-Form Deformation for 3D Face Reconstruction from
In-The-Wild Images [19.799466588741836]
本稿では,自由形変形(FFD)による3次元顔メッシュの再構成を初めて行う学習手法を提案する。
複数のデータセットに対する実験により,2次元顔画像から3次元顔形状と表情をうまく推定する方法が実証された。
論文 参考訳(メタデータ) (2021-05-31T10:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。