論文の概要: TextDeformer: Geometry Manipulation using Text Guidance

• arxiv url: http://arxiv.org/abs/2304.13348v1
• Date: Wed, 26 Apr 2023 07:38:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 15:07:45.257833
• Title: TextDeformer: Geometry Manipulation using Text Guidance
• Title（参考訳）: textdeformer: テキストガイダンスを用いた幾何操作
• Authors: William Gao, Noam Aigerman, Thibault Groueix, Vladimir G. Kim, Rana Hanocka
• Abstract要約: 本稿では,テキストプロンプトのみで案内される入力三角形メッシュの変形を生成する手法を提案する。 私たちのフレームワークは、CLIPやDINOといった強力なトレーニング済み画像エンコーダとジオメトリを接続するために、微分可能なレンダリングに依存しています。 この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、グローバルでスムーズな方法で変形を更新する。
• 参考スコア（独自算出の注目度）: 37.02412892926677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a technique for automatically producing a deformation of an input triangle mesh, guided solely by a text prompt. Our framework is capable of deformations that produce both large, low-frequency shape changes, and small high-frequency details. Our framework relies on differentiable rendering to connect geometry to powerful pre-trained image encoders, such as CLIP and DINO. Notably, updating mesh geometry by taking gradient steps through differentiable rendering is notoriously challenging, commonly resulting in deformed meshes with significant artifacts. These difficulties are amplified by noisy and inconsistent gradients from CLIP. To overcome this limitation, we opt to represent our mesh deformation through Jacobians, which updates deformations in a global, smooth manner (rather than locally-sub-optimal steps). Our key observation is that Jacobians are a representation that favors smoother, large deformations, leading to a global relation between vertices and pixels, and avoiding localized noisy gradients. Additionally, to ensure the resulting shape is coherent from all 3D viewpoints, we encourage the deep features computed on the 2D encoding of the rendering to be consistent for a given vertex from all viewpoints. We demonstrate that our method is capable of smoothly-deforming a wide variety of source mesh and target text prompts, achieving both large modifications to, e.g., body proportions of animals, as well as adding fine semantic details, such as shoe laces on an army boot and fine details of a face.
• Abstract（参考訳）: 本稿では,入力三角形メッシュの変形を自動的に生成する手法について述べる。 我々のフレームワークは、大きな、低周波の形状変化と小さな高周波の細部の両方をもたらす変形を実現できる。 我々のフレームワークは微分可能レンダリングに依存しており、幾何をクリップやdinoのような強力な事前学習済み画像エンコーダに接続する。 特に、微分可能なレンダリングによる勾配ステップによるメッシュジオメトリの更新は、悪名高く、多くの場合、重要なアーティファクトを持つ変形メッシュが発生する。 これらの困難は、CLIPからのノイズや矛盾した勾配によって増幅される。 この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、(局所的な準最適ステップではなく)大域的かつ滑らかな方法で変形を更新する。 我々のキーとなる観察は、ジャコビアンがより滑らかで大きな変形を好む表現であり、頂点とピクセルのグローバルな関係を導き、局所的な雑音勾配を避けることである。 さらに, 得られた形状がすべての3次元視点から一致していることを保証するため, レンダリングの2次元符号化上で計算された深い特徴が, あらゆる視点から与えられた頂点に対して一貫したものであることを推奨する。 本手法は,多種多様なソースメッシュと対象テキストプロンプトをスムーズに変形させ,動物の体重比率などの大きな変更と,軍用ブーツの靴ひもや顔の細かい詳細などの詳細な意味的詳細を追加できることを実証する。

関連論文リスト

• ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
  本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。 現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
  論文  参考訳（メタデータ） (2024-03-28T18:50:19Z)
• T-Pixel2Mesh: Combining Global and Local Transformer for 3D Mesh Generation from a Single Image [84.08705684778666]
  本稿では,P2Mの粗大なアプローチにインスパイアされたトランスフォーマーブーストアーキテクチャT-Pixel2Meshを提案する。 具体的には,大域変換器を用いて局所的な形状を制御し,局所的な幾何学的詳細を洗練させる。 ShapeNetの実験では最先端の性能が実証され,実世界のデータでは一般化能力が示された。
  論文  参考訳（メタデータ） (2024-03-20T15:14:22Z)
• HeadEvolver: Text to Head Avatars via Expressive and Attribute-Preserving Mesh Deformation [17.590555698266346]
  本稿では、テキストガイダンスからスタイリングされたヘッドアバターを生成する新しいフレームワークであるHeadEvolverを紹介する。 HeadEvolverはテンプレートのヘッドメッシュからローカルに学習可能なメッシュ変形を使用して、詳細な編集とアニメーションのために高品質なデジタルアセットを生成する。
  論文  参考訳（メタデータ） (2024-03-14T12:15:23Z)
• Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
  そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。 具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
  論文  参考訳（メタデータ） (2023-12-17T04:50:24Z)
• Deformation-Guided Unsupervised Non-Rigid Shape Matching [7.327850781641328]
  非厳密な形状マッチングのための教師なしデータ駆動方式を提案する。 本手法は,3次元スキャナを用いたディジタル形状のマッチングにおいて特に堅牢である。
  論文  参考訳（メタデータ） (2023-11-27T09:55:55Z)
• DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors [10.355568895429588]
  ダイレクトメッシュの編集と変形は、幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。 正規化器は、オブジェクトのグローバルなコンテキストとセマンティクスを意識していない。 我々の変形を制御して,グローバルな文脈を意識した現実的な形状の変形を生成できることが示される。
  論文  参考訳（メタデータ） (2023-10-06T19:55:40Z)
• 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
  ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。 私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
  論文  参考訳（メタデータ） (2023-07-19T10:44:44Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian [58.704089101826774]
  形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。 点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
  論文  参考訳（メタデータ） (2022-03-29T04:57:18Z)
• Learning Skeletal Articulations with Neural Blend Shapes [57.879030623284216]
  あらかじめ定義された骨格構造を有するエンベロープを用いて3次元文字を表現できるニューラルテクニックを開発している。 我々のフレームワークは、同じ調音構造を持つリグとスキンキャラクタを学習する。 関節領域の変形品質を向上させるニューラルブレンディング形状を提案します。
  論文  参考訳（メタデータ） (2021-05-06T05:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。