論文の概要: ClipFace: Text-guided Editing of Textured 3D Morphable Models

• arxiv url: http://arxiv.org/abs/2212.01406v2
• Date: Mon, 24 Apr 2023 11:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 23:07:46.238466
• Title: ClipFace: Text-guided Editing of Textured 3D Morphable Models
• Title（参考訳）: ClipFace: テキストガイドによる3Dモデル編集
• Authors: Shivangi Aneja, Justus Thies, Angela Dai, Matthias Nie{\ss}ner
• Abstract要約: ClipFaceはテクスチャ化された顔の3次元形態素モデルのテキスト誘導編集のための新しい自己教師型アプローチである。 ユーザフレンドリーな言語プロンプトを用いて表現の制御と3D顔の出現を可能にする。 我々のモデルは、事前訓練されたCLIPモデルに基づいて、差別化可能なレンダリングと損失を利用して、自己教師型で訓練される。
• 参考スコア（独自算出の注目度）: 33.83015491013442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose ClipFace, a novel self-supervised approach for text-guided editing of textured 3D morphable model of faces. Specifically, we employ user-friendly language prompts to enable control of the expressions as well as appearance of 3D faces. We leverage the geometric expressiveness of 3D morphable models, which inherently possess limited controllability and texture expressivity, and develop a self-supervised generative model to jointly synthesize expressive, textured, and articulated faces in 3D. We enable high-quality texture generation for 3D faces by adversarial self-supervised training, guided by differentiable rendering against collections of real RGB images. Controllable editing and manipulation are given by language prompts to adapt texture and expression of the 3D morphable model. To this end, we propose a neural network that predicts both texture and expression latent codes of the morphable model. Our model is trained in a self-supervised fashion by exploiting differentiable rendering and losses based on a pre-trained CLIP model. Once trained, our model jointly predicts face textures in UV-space, along with expression parameters to capture both geometry and texture changes in facial expressions in a single forward pass. We further show the applicability of our method to generate temporally changing textures for a given animation sequence.
• Abstract（参考訳）: ClipFaceはテクスチャ化された顔の3次元形態素モデルのテキスト誘導編集のための新しい自己教師型アプローチである。 具体的には,ユーザフレンドリーな言語プロンプトを用いて,表情の制御と3d顔の出現を可能にする。 制御性やテクスチャの表現性に制限がある3次元形態素モデルの幾何学的表現性を生かし,表現的,テクスチャ的,明瞭な顔を3次元で合成する自己教師付き生成モデルを開発した。 我々は,実RGB画像のコレクションに対する差別化レンダリングによって誘導される,対向的な自己指導訓練により,3次元顔の質の高いテクスチャ生成を可能にする。 制御可能な編集と操作は、3D形態素モデルのテクスチャと表現を適応させる言語プロンプトによって与えられる。 この目的のために,形態素モデルのテクスチャと表現潜在符号の両方を予測するニューラルネットワークを提案する。 我々のモデルは、事前訓練されたCLIPモデルに基づいて、差別化可能なレンダリングと損失を利用して、自己教師型で訓練される。 トレーニング後、我々のモデルはUV空間における顔のテクスチャと、表情の幾何学的変化とテクスチャ的変化を1つの前方通過で捉えるための表現パラメータを共同で予測する。 さらに,与えられたアニメーションシーケンスに対して,時間変化するテクスチャを生成する手法の適用性を示す。

関連論文リスト

• TADA! Text to Animatable Digital Avatars [57.52707683788961]
  TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:10Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
  テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。 レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。 構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
  論文  参考訳（メタデータ） (2023-03-23T13:53:16Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• Text to Mesh Without 3D Supervision Using Limit Subdivision [13.358081015190255]
  本稿では,ターゲットテキストプロンプトのみを用いた3次元モデルのゼロショット生成手法を提案する。 入力テキストプロンプトを3Dモデルの異なるレンダリング画像と比較する、事前訓練されたCLIPモデルに依存しています。
  論文  参考訳（メタデータ） (2022-03-24T20:36:28Z)
• Text and Image Guided 3D Avatar Generation and Manipulation [0.0]
  テキストや「若い顔」や「驚きの顔」といった画像に基づくプロンプトを用いて、モデルの形状とテクスチャの両方を操作できる新しい3D操作法を提案する。 提案手法は操作に5分しか必要とせず,提案手法の有効性を広範囲な結果と比較で実証する。
  論文  参考訳（メタデータ） (2022-02-12T14:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。