論文の概要: TextDeformer: Geometry Manipulation using Text Guidance
- arxiv url: http://arxiv.org/abs/2304.13348v1
- Date: Wed, 26 Apr 2023 07:38:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 15:07:45.257833
- Title: TextDeformer: Geometry Manipulation using Text Guidance
- Title(参考訳): textdeformer: テキストガイダンスを用いた幾何操作
- Authors: William Gao, Noam Aigerman, Thibault Groueix, Vladimir G. Kim, Rana
Hanocka
- Abstract要約: 本稿では,テキストプロンプトのみで案内される入力三角形メッシュの変形を生成する手法を提案する。
私たちのフレームワークは、CLIPやDINOといった強力なトレーニング済み画像エンコーダとジオメトリを接続するために、微分可能なレンダリングに依存しています。
この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、グローバルでスムーズな方法で変形を更新する。
- 参考スコア(独自算出の注目度): 37.02412892926677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a technique for automatically producing a deformation of an input
triangle mesh, guided solely by a text prompt. Our framework is capable of
deformations that produce both large, low-frequency shape changes, and small
high-frequency details. Our framework relies on differentiable rendering to
connect geometry to powerful pre-trained image encoders, such as CLIP and DINO.
Notably, updating mesh geometry by taking gradient steps through differentiable
rendering is notoriously challenging, commonly resulting in deformed meshes
with significant artifacts. These difficulties are amplified by noisy and
inconsistent gradients from CLIP. To overcome this limitation, we opt to
represent our mesh deformation through Jacobians, which updates deformations in
a global, smooth manner (rather than locally-sub-optimal steps). Our key
observation is that Jacobians are a representation that favors smoother, large
deformations, leading to a global relation between vertices and pixels, and
avoiding localized noisy gradients. Additionally, to ensure the resulting shape
is coherent from all 3D viewpoints, we encourage the deep features computed on
the 2D encoding of the rendering to be consistent for a given vertex from all
viewpoints. We demonstrate that our method is capable of smoothly-deforming a
wide variety of source mesh and target text prompts, achieving both large
modifications to, e.g., body proportions of animals, as well as adding fine
semantic details, such as shoe laces on an army boot and fine details of a
face.
- Abstract(参考訳): 本稿では,入力三角形メッシュの変形を自動的に生成する手法について述べる。
我々のフレームワークは、大きな、低周波の形状変化と小さな高周波の細部の両方をもたらす変形を実現できる。
我々のフレームワークは微分可能レンダリングに依存しており、幾何をクリップやdinoのような強力な事前学習済み画像エンコーダに接続する。
特に、微分可能なレンダリングによる勾配ステップによるメッシュジオメトリの更新は、悪名高く、多くの場合、重要なアーティファクトを持つ変形メッシュが発生する。
これらの困難は、CLIPからのノイズや矛盾した勾配によって増幅される。
この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、(局所的な準最適ステップではなく)大域的かつ滑らかな方法で変形を更新する。
我々のキーとなる観察は、ジャコビアンがより滑らかで大きな変形を好む表現であり、頂点とピクセルのグローバルな関係を導き、局所的な雑音勾配を避けることである。
さらに, 得られた形状がすべての3次元視点から一致していることを保証するため, レンダリングの2次元符号化上で計算された深い特徴が, あらゆる視点から与えられた頂点に対して一貫したものであることを推奨する。
本手法は,多種多様なソースメッシュと対象テキストプロンプトをスムーズに変形させ,動物の体重比率などの大きな変更と,軍用ブーツの靴ひもや顔の細かい詳細などの詳細な意味的詳細を追加できることを実証する。
関連論文リスト
- HeadEvolver: Text to Head Avatars via Locally Learnable Mesh Deformation [39.653716029150225]
本稿では、テキストガイダンスからスタイリングされたヘッドアバターを生成する新しいフレームワークであるHeadEvolverを紹介する。
HeadEvolverはテンプレートのヘッドメッシュからローカルに学習可能なメッシュ変形を使用して、詳細な編集とアニメーションのために高品質なデジタルアセットを生成する。
論文 参考訳(メタデータ) (2024-03-14T12:15:23Z) - Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。
具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
論文 参考訳(メタデータ) (2023-12-17T04:50:24Z) - Deformation-Guided Unsupervised Non-Rigid Shape Matching [7.327850781641328]
非厳密な形状マッチングのための教師なしデータ駆動方式を提案する。
本手法は,3次元スキャナを用いたディジタル形状のマッチングにおいて特に堅牢である。
論文 参考訳(メタデータ) (2023-11-27T09:55:55Z) - Parameterization-driven Neural Implicit Surfaces Editing [37.48581817960415]
神経暗示面を単純なパラメトリック領域にパラメータ化するための新しいニューラルネットワークを提案する。
提案手法は3次元オブジェクトとその選択したパラメトリック領域間の双方向の変形を計算する。
我々はまた、ビュー非依存の材料編集とビュー依存のシェーディング編集の両方を容易にし、内在的放射分解の簡易かつ効果的な手法も導入した。
論文 参考訳(メタデータ) (2023-10-09T08:42:40Z) - DragD3D: Vertex-based Editing for Realistic Mesh Deformations using 2D
Diffusion Priors [11.312715079259723]
DragD3Dは、グローバルなコンテキスト認識現実的変形のための局所メッシュ編集手法である。
我々の変形は, 物体のグローバルな文脈を現実的に認識し, 幾何学的正則化よりも優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-10-06T19:55:40Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳(メタデータ) (2023-07-19T10:44:44Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳(メタデータ) (2022-04-21T03:42:31Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳(メタデータ) (2022-03-29T04:57:18Z) - Learning Skeletal Articulations with Neural Blend Shapes [57.879030623284216]
あらかじめ定義された骨格構造を有するエンベロープを用いて3次元文字を表現できるニューラルテクニックを開発している。
我々のフレームワークは、同じ調音構造を持つリグとスキンキャラクタを学習する。
関節領域の変形品質を向上させるニューラルブレンディング形状を提案します。
論文 参考訳(メタデータ) (2021-05-06T05:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。