論文の概要: DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors
- arxiv url: http://arxiv.org/abs/2310.04561v2
- Date: Fri, 2 Aug 2024 14:08:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 18:43:16.427374
- Title: DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors
- Title（参考訳）: DragD3D: 2次元拡散前処理による剛性制御によるリアルメッシュ編集
- Authors: Tianhao Xie, Eugene Belilovsky, Sudhir Mudur, Tiberiu Popa,
- Abstract要約: ダイレクトメッシュの編集と変形は、幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。
正規化器は、オブジェクトのグローバルなコンテキストとセマンティクスを意識していない。
我々の変形を制御して,グローバルな文脈を意識した現実的な形状の変形を生成できることが示される。
- 参考スコア（独自算出の注目度）: 10.355568895429588
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Direct mesh editing and deformation are key components in the geometric modeling and animation pipeline. Mesh editing methods are typically framed as optimization problems combining user-specified vertex constraints with a regularizer that determines the position of the rest of the vertices. The choice of the regularizer is key to the realism and authenticity of the final result. Physics and geometry-based regularizers are not aware of the global context and semantics of the object, and the more recent deep learning priors are limited to a specific class of 3D object deformations. Our main contribution is a vertex-based mesh editing method called DragD3D based on (1) a novel optimization formulation that decouples the rotation and stretch components of the deformation and combines a 3D geometric regularizer with (2) the recently introduced DDS loss which scores the faithfulness of the rendered 2D image to one from a diffusion model. Thus, our deformation method achieves globally realistic shape deformation which is not restricted to any class of objects. Our new formulation optimizes directly the transformation of the neural Jacobian field explicitly separating the rotational and stretching components. The objective function of the optimization combines the approximate gradients of DDS and the gradients from the geometric loss to satisfy the vertex constraints. Additional user control over desired global shape deformation is made possible by allowing explicit per-triangle deformation control as well as explicit separation of rotational and stretching components of the deformation. We show that our deformations can be controlled to yield realistic shape deformations that are aware of the global context of the objects, and provide better results than just using geometric regularizers.
- Abstract（参考訳）: ダイレクトメッシュの編集と変形は、幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。
メッシュ編集法は通常、ユーザ指定の頂点制約と他の頂点の位置を決定する正規化器を組み合わせた最適化問題としてフレーム化される。
正則化器の選択は、最終的な結果の現実性と信頼性の鍵となる。
物理と幾何学に基づく正規化器は、対象のグローバルな文脈や意味を意識せず、より最近のディープラーニングの先行は、特定の3次元オブジェクトの変形のクラスに限られる。
DragD3Dと呼ばれる頂点ベースのメッシュ編集手法は,(1)変形の回転成分とストレッチ成分を分離し3次元幾何正規化器と(2)最近導入されたDDS損失とを組み合わせた新しい最適化式を,拡散モデルから導出した2次元画像の忠実度を評価する。
したがって, この変形法は, 対象物の種類に制限されない世界的現実的な形状変形を実現する。
我々の新しい定式化は、回転成分と伸縮成分を明示的に分離する神経ジャコビアン場の変換を直接最適化する。
最適化の目的関数は、DDSの近似勾配と幾何学的損失からの勾配を組み合わせて頂点制約を満たす。
所望の大域形状変形に対する追加のユーザ制御は、明示的な三角形変形制御と、変形の回転成分と伸縮成分の明示的な分離を可能にする。
我々の変形は, 物体のグローバルな文脈を認識した現実的な形状変形を生じさせ, 幾何正規化器よりも優れた結果が得られることを示す。
関連論文リスト
- 3D Gaussian Editing with A Single Image [19.662680524312027]
本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。
提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。
実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-14T13:17:42Z) - 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。
提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
論文 参考訳（メタデータ） (2024-04-09T12:47:30Z) - ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。
現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
論文 参考訳（メタデータ） (2024-03-28T18:50:19Z) - Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。
具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
論文 参考訳（メタデータ） (2023-12-17T04:50:24Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳（メタデータ） (2023-07-19T10:44:44Z) - TextDeformer: Geometry Manipulation using Text Guidance [37.02412892926677]
本稿では,テキストプロンプトのみで案内される入力三角形メッシュの変形を生成する手法を提案する。
私たちのフレームワークは、CLIPやDINOといった強力なトレーニング済み画像エンコーダとジオメトリを接続するために、微分可能なレンダリングに依存しています。
この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、グローバルでスムーズな方法で変形を更新する。
論文 参考訳（メタデータ） (2023-04-26T07:38:41Z) - Neural Shape Deformation Priors [14.14047635248036]
本稿では,新しい形状操作法であるニューラル・シェイプ・フォーメーション・プレファレンスを提案する。
形状の幾何学的性質に基づいて変形挙動を学習する。
本手法は, 難解な変形に対して適用可能であり, 未知の変形に対して良好に一般化できる。
論文 参考訳（メタデータ） (2022-10-11T17:03:25Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳（メタデータ） (2021-12-14T13:14:24Z) - SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural
Implicit Shapes [117.76767853430243]
SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。
反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。
最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
論文 参考訳（メタデータ） (2021-04-08T17:54:59Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。