論文の概要: DragD3D: Vertex-based Editing for Realistic Mesh Deformations using 2D Diffusion Priors

• arxiv url: http://arxiv.org/abs/2310.04561v1
• Date: Fri, 6 Oct 2023 19:55:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 17:38:27.501093
• Title: DragD3D: Vertex-based Editing for Realistic Mesh Deformations using 2D Diffusion Priors
• Title（参考訳）: DragD3D:2次元拡散プリミティブを用いた実効性メッシュ変形のための頂点ベース編集
• Authors: Tianhao Xie, Eugene Belilovsky, Sudhir Mudur, Tiberiu Popa
• Abstract要約: DragD3Dは、グローバルなコンテキスト認識現実的変形のための局所メッシュ編集手法である。 我々の変形は, 物体のグローバルな文脈を現実的に認識し, 幾何学的正則化よりも優れた結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 11.312715079259723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct mesh editing and deformation are key components in the geometric modeling and animation pipeline. Direct mesh editing methods are typically framed as optimization problems combining user-specified vertex constraints with a regularizer that determines the position of the rest of the vertices. The choice of the regularizer is key to the realism and authenticity of the final result. Physics and geometry-based regularizers are not aware of the global context and semantics of the object, and the more recent deep learning priors are limited to a specific class of 3D object deformations. In this work, our main contribution is a local mesh editing method called DragD3D for global context-aware realistic deformation through direct manipulation of a few vertices. DragD3D is not restricted to any class of objects. It achieves this by combining the classic geometric ARAP (as rigid as possible) regularizer with 2D priors obtained from a large-scale diffusion model. Specifically, we render the objects from multiple viewpoints through a differentiable renderer and use the recently introduced DDS loss which scores the faithfulness of the rendered image to one from a diffusion model. DragD3D combines the approximate gradients of the DDS with gradients from the ARAP loss to modify the mesh vertices via neural Jacobian field, while also satisfying vertex constraints. We show that our deformations are realistic and aware of the global context of the objects, and provide better results than just using geometric regularizers.
• Abstract（参考訳）: 直接メッシュ編集と変形は幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。 直接メッシュ編集法は、通常、ユーザ指定の頂点制約と他の頂点の位置を決定する正規化器を組み合わせた最適化問題としてフレーム化される。 正則化器の選択は、最終的な結果の現実性と信頼性の鍵となる。 物理と幾何学に基づく正規化器は、対象のグローバルな文脈や意味を意識せず、より最近のディープラーニングの先行は、特定の3次元オブジェクトの変形のクラスに限られる。 本研究では,いくつかの頂点を直接操作することで,グローバルコンテキストを認識可能な現実的な変形を実現するために,dugd3dと呼ばれる局所メッシュ編集手法を提案する。 DragD3Dは任意の種類のオブジェクトに制限されない。 これは、古典幾何学的ARAP正規化器と大規模拡散モデルから得られた2次元先行値を組み合わせることで実現される。 具体的には、微分可能なレンダラを用いて複数の視点からオブジェクトをレンダリングし、最近導入されたDDS損失を用いて、画像の忠実度を拡散モデルから評価する。 DragD3Dは、DDSの近似勾配とARAP損失からの勾配を組み合わせて、神経ジャコビアン場を介してメッシュ頂点を修正し、頂点制約を満たす。 我々の変形は, 物体のグローバルな文脈を現実的に認識し, 幾何学的正則化よりも優れた結果が得られることを示す。

関連論文リスト

• 3D Gaussian Editing with A Single Image [19.662680524312027]
  本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。 提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。 実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-14T13:17:42Z)
• 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
  動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。 提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
  論文  参考訳（メタデータ） (2024-04-09T12:47:30Z)
• ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
  本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。 現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
  論文  参考訳（メタデータ） (2024-03-28T18:50:19Z)
• Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
  そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。 具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
  論文  参考訳（メタデータ） (2023-12-17T04:50:24Z)
• 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
  ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。 私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
  論文  参考訳（メタデータ） (2023-07-19T10:44:44Z)
• TextDeformer: Geometry Manipulation using Text Guidance [37.02412892926677]
  本稿では,テキストプロンプトのみで案内される入力三角形メッシュの変形を生成する手法を提案する。 私たちのフレームワークは、CLIPやDINOといった強力なトレーニング済み画像エンコーダとジオメトリを接続するために、微分可能なレンダリングに依存しています。 この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、グローバルでスムーズな方法で変形を更新する。
  論文  参考訳（メタデータ） (2023-04-26T07:38:41Z)
• Neural Shape Deformation Priors [14.14047635248036]
  本稿では,新しい形状操作法であるニューラル・シェイプ・フォーメーション・プレファレンスを提案する。 形状の幾何学的性質に基づいて変形挙動を学習する。 本手法は, 難解な変形に対して適用可能であり, 未知の変形に対して良好に一般化できる。
  論文  参考訳（メタデータ） (2022-10-11T17:03:25Z)
• Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian [58.704089101826774]
  形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。 点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
  論文  参考訳（メタデータ） (2022-03-29T04:57:18Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes [117.76767853430243]
  SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。 反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。 最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
  論文  参考訳（メタデータ） (2021-04-08T17:54:59Z)
• Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
  Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-06-15T09:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。