論文の概要: FaceCLIPNeRF: Text-driven 3D Face Manipulation using Deformable Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2307.11418v3
• Date: Thu, 17 Aug 2023 05:06:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 22:43:59.698099
• Title: FaceCLIPNeRF: Text-driven 3D Face Manipulation using Deformable Neural Radiance Fields
• Title（参考訳）: FaceCLIPNeRF:変形性ニューラルネットワークを用いたテキスト駆動型3次元顔マニピュレーション
• Authors: Sungwon Hwang, Junha Hyung, Daejin Kim, Min-Jung Kim, Jaegul Choo
• Abstract要約: 既存の操作方法は広範囲の人的労働を必要とする。 我々のアプローチは、NeRFで再構成された顔を操作するために単一のテキストを必要とするように設計されている。 我々のアプローチは、NeRFで再構成された顔のテキスト駆動による操作に最初に対処するものである。
• 参考スコア（独自算出の注目度）: 39.57313951313061
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As recent advances in Neural Radiance Fields (NeRF) have enabled high-fidelity 3D face reconstruction and novel view synthesis, its manipulation also became an essential task in 3D vision. However, existing manipulation methods require extensive human labor, such as a user-provided semantic mask and manual attribute search unsuitable for non-expert users. Instead, our approach is designed to require a single text to manipulate a face reconstructed with NeRF. To do so, we first train a scene manipulator, a latent code-conditional deformable NeRF, over a dynamic scene to control a face deformation using the latent code. However, representing a scene deformation with a single latent code is unfavorable for compositing local deformations observed in different instances. As so, our proposed Position-conditional Anchor Compositor (PAC) learns to represent a manipulated scene with spatially varying latent codes. Their renderings with the scene manipulator are then optimized to yield high cosine similarity to a target text in CLIP embedding space for text-driven manipulation. To the best of our knowledge, our approach is the first to address the text-driven manipulation of a face reconstructed with NeRF. Extensive results, comparisons, and ablation studies demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 近年のNeural Radiance Fields(NeRF)の進歩により、高忠実度3次元顔再構成と新しいビュー合成が可能になったため、その操作は3次元視覚において必須の課題となった。 しかし,既存の操作手法では,ユーザが提供するセマンティックマスクや手動属性検索など,高度な人的労力を必要とする。 我々のアプローチは、NeRFで再構成された顔を操作するために単一のテキストを必要とするように設計されている。 そこで,我々はまず動的シーン上で,潜在コード条件変形可能なnerfであるシーンマニピュレータを訓練し,潜在コードを用いて顔変形を制御する。 しかし、1つの潜在コードでシーン変形を表現することは、異なるインスタンスで観測される局所変形を合成するのに不利である。 そこで,提案する位置条件アンカーコンポジタ(pac)は,空間的に変化する潜在コードを用いて操作されたシーンを表現することを学習する。 シーンマニピュレータによるレンダリングは、テキスト駆動操作のためのCLIP埋め込み空間のターゲットテキストと高いコサイン類似性を得るために最適化される。 我々の知る限りでは、NeRFで再構築された顔のテキスト駆動操作に最初に取り組むアプローチである。 大規模な結果,比較,アブレーション研究は,我々のアプローチの有効性を示すものである。

関連論文リスト

• Revealing Directions for Text-guided 3D Face Editing [52.85632020601518]
  3次元顔編集はマルチメディアにおいて重要な課題であり、様々な制御信号間での3次元顔モデルの操作を目的としている。 任意の属性記述に基づく3次元顔の生成と操作のためのテキスト汎用アプローチであるFace Clanを提案する。 本手法は,ユーザがテキスト記述で興味のある領域を直感的にカスタマイズできる,正確に制御可能な操作方法を提供する。
  論文  参考訳（メタデータ） (2024-10-07T12:04:39Z)
• Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh [44.57625460339714]
  本稿では,3DGSを直接自己適応で操作する三角形メッシュを提案する。 提案手法は,高忠実度レンダリングを維持しつつ,大きな変形,局所的な操作,軟体シミュレーションを処理可能である。
  論文  参考訳（メタデータ） (2024-05-28T04:13:21Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• SKED: Sketch-guided Text-based 3D Editing [49.019881133348775]
  我々は,NeRFで表される3次元形状を編集する技術であるSKEDを提案する。 我々の手法は、異なる視点からの2つのガイドスケッチを使用して、既存のニューラルネットワークを変化させる。 本稿では,ベースインスタンスの密度と放射率を保ちつつ,所望の編集を生成する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-19T18:40:44Z)
• Text and Image Guided 3D Avatar Generation and Manipulation [0.0]
  テキストや「若い顔」や「驚きの顔」といった画像に基づくプロンプトを用いて、モデルの形状とテクスチャの両方を操作できる新しい3D操作法を提案する。 提案手法は操作に5分しか必要とせず,提案手法の有効性を広範囲な結果と比較で実証する。
  論文  参考訳（メタデータ） (2022-02-12T14:37:29Z)
• CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields [33.43993665841577]
  ニューラルレイディアンスフィールド(NeRF)のためのマルチモーダル3次元オブジェクト操作法であるCLIP-NeRFを提案する。 ユーザフレンドリーな方法でNeRFを操作できる統一的なフレームワークを提案する。 我々は、様々なテキストプロンプトや模範画像に関する広範な実験により、我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:55Z)
• StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery [71.1862388442953]
  StyleGAN画像操作のためのテキストベースのインターフェースを開発しています。 まず,ユーザが提案するテキストプロンプトに応答して,CLIPに基づく損失を利用して入力潜時ベクトルを変更する最適化手法を提案する。 次に、与えられた入力画像に対してテキスト誘導の潜時操作ステップを推論し、より高速で安定したテキストベースの操作を可能にする潜時マッパーについて述べる。
  論文  参考訳（メタデータ） (2021-03-31T17:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。