論文の概要: ShapeFusion: A 3D diffusion model for localized shape editing
- arxiv url: http://arxiv.org/abs/2403.19773v2
- Date: Thu, 4 Apr 2024 09:05:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 19:14:11.971717
- Title: ShapeFusion: A 3D diffusion model for localized shape editing
- Title（参考訳）: ShapeFusion:局所的な形状編集のための3次元拡散モデル
- Authors: Rolandos Alexandros Potamias, Michail Tarasiou, Stylianos Ploumpis, Stefanos Zafeiriou,
- Abstract要約: 本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。
現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
- 参考スコア（独自算出の注目度）: 37.82690898932135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the realm of 3D computer vision, parametric models have emerged as a ground-breaking methodology for the creation of realistic and expressive 3D avatars. Traditionally, they rely on Principal Component Analysis (PCA), given its ability to decompose data to an orthonormal space that maximally captures shape variations. However, due to the orthogonality constraints and the global nature of PCA's decomposition, these models struggle to perform localized and disentangled editing of 3D shapes, which severely affects their use in applications requiring fine control such as face sculpting. In this paper, we leverage diffusion models to enable diverse and fully localized edits on 3D meshes, while completely preserving the un-edited regions. We propose an effective diffusion masking training strategy that, by design, facilitates localized manipulation of any shape region, without being limited to predefined regions or to sparse sets of predefined control vertices. Following our framework, a user can explicitly set their manipulation region of choice and define an arbitrary set of vertices as handles to edit a 3D mesh. Compared to the current state-of-the-art our method leads to more interpretable shape manipulations than methods relying on latent code state, greater localization and generation diversity while offering faster inference than optimization based approaches. Project page: https://rolpotamias.github.io/Shapefusion/
- Abstract（参考訳）: 3Dコンピュータビジョンの領域では、パラメトリックモデルは現実的で表現力のある3Dアバターを作成するための画期的な方法論として登場した。
伝統的に、彼らは主成分分析(PCA)に依存しており、データを正則空間に分解し、形状の変化を最大限に捉えている。
しかし、直交性の制約とPCAの分解のグローバルな性質により、これらのモデルは3次元形状の局所的・非絡み合いの編集に苦慮し、顔彫刻などの微妙な制御を必要とするアプリケーションでの使用に大きく影響する。
本稿では,拡散モデルを利用して,非編集領域を完全に保存しつつ,多種多様かつ完全に局所化された3次元メッシュの編集を可能にする。
本研究では,任意の形状領域の局所的な操作を,予め定義された領域に制限されず,かつ,事前定義された制御頂点の集合を疎結合にすることなく,効果的な拡散マスキング訓練戦略を提案する。
我々のフレームワークに従うと、ユーザーは選択した操作領域を明示的に設定し、3Dメッシュを編集するためのハンドルとして任意の頂点セットを定義することができる。
現在の最先端技術と比較して、我々の手法は、遅延コード状態に依存するメソッドよりも解釈可能な形状操作をし、ローカライゼーションと生成の多様性を高め、最適化ベースのアプローチよりも高速な推論を提供する。
プロジェクトページ: https://rolpotamias.github.io/Shapefusion/
関連論文リスト
- 3D Gaussian Editing with A Single Image [19.662680524312027]
本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。
提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。
実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-14T13:17:42Z) - Locally Adaptive Neural 3D Morphable Models [38.38400553022714]
本稿では、3Dメッシュの生成と操作を学習するフレームワークであるLocally Adaptive Morphable Model (LAMM)を紹介する。
非常に効率的な計算グラフにより、我々のネットワークは、以前の手法で必要とされるメモリのごく一部でトレーニングできる。
さらに、より高度な編集操作のためのプリミティブとして局所幾何学制御を活用し、微分関数のセットを示す。
論文 参考訳（メタデータ） (2024-01-05T18:28:51Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors [10.355568895429588]
ダイレクトメッシュの編集と変形は、幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。
正規化器は、オブジェクトのグローバルなコンテキストとセマンティクスを意識していない。
我々の変形を制御して,グローバルな文脈を意識した現実的な形状の変形を生成できることが示される。
論文 参考訳（メタデータ） (2023-10-06T19:55:40Z) - DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。
階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。
提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
論文 参考訳（メタデータ） (2023-09-08T16:17:45Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳（メタデータ） (2023-07-19T10:44:44Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳（メタデータ） (2023-07-11T17:58:31Z) - Implicit Neural Head Synthesis via Controllable Local Deformation Fields [12.191729556779972]
我々は,大域的変形場を局所的に分解する部分的暗黙的形状モデルを構築した。
我々の新しい定式化は、3DMMに基づくパラメータによる局所的な意味的リグ様制御を伴う複数の暗黙的変形場をモデル化する。
我々の定式化は、従来の暗黙単分子アプローチよりも、局所的に制御可能な非線形変形をよりシャープに表現する。
論文 参考訳（メタデータ） (2023-04-21T16:35:28Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural
Implicit Shapes [117.76767853430243]
SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。
反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。
最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
論文 参考訳（メタデータ） (2021-04-08T17:54:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。