論文の概要: ControlFace: Harnessing Facial Parametric Control for Face Rigging

• arxiv url: http://arxiv.org/abs/2412.01160v1
• Date: Mon, 02 Dec 2024 06:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:24.284898
• Title: ControlFace: Harnessing Facial Parametric Control for Face Rigging
• Title（参考訳）: ControlFace: 顔リグのための顔パラメトリック制御のハーネス化
• Authors: Wooseok Jang, Youngjun Hong, Gunho Cha, Seungryong Kim,
• Abstract要約: フレキシブルで高忠実な制御を可能にする3DMMレンダリングに条件付けされた新しい顔リグ手法であるControlFaceを導入する。 ひとつはFaceNetと呼ばれ、アイデンティティと詳細をキャプチャし、もうひとつは生成に焦点を当てています。 顔ビデオデータセットをトレーニングすることで、FaceNetのリッチな表現を完全に活用し、コントロールの順守を確保します。
• 参考スコア（独自算出の注目度）: 30.44055292584771
• License:
• Abstract: Manipulation of facial images to meet specific controls such as pose, expression, and lighting, also known as face rigging, is a complex task in computer vision. Existing methods are limited by their reliance on image datasets, which necessitates individual-specific fine-tuning and limits their ability to retain fine-grained identity and semantic details, reducing practical usability. To overcome these limitations, we introduce ControlFace, a novel face rigging method conditioned on 3DMM renderings that enables flexible, high-fidelity control. We employ a dual-branch U-Nets: one, referred to as FaceNet, captures identity and fine details, while the other focuses on generation. To enhance control precision, the control mixer module encodes the correlated features between the target-aligned control and reference-aligned control, and a novel guidance method, reference control guidance, steers the generation process for better control adherence. By training on a facial video dataset, we fully utilize FaceNet's rich representations while ensuring control adherence. Extensive experiments demonstrate ControlFace's superior performance in identity preservation and control precision, highlighting its practicality. Please see the project website: https://cvlab-kaist.github.io/ControlFace/.
• Abstract（参考訳）: ポーズ、表情、照明などの特定の制御を満たすために顔画像を操作することは、コンピュータビジョンにおいて複雑な作業である。 既存の方法はイメージデータセットへの依存によって制限されており、個々の微調整が必要であり、細かなアイデンティティやセマンティックな詳細を維持する能力が制限され、実用的なユーザビリティが低下する。 これらの制限を克服するために,3DMMレンダリングに条件付けされた新しい顔リグ方式であるControlFaceを導入し,フレキシブルで高忠実な制御を実現する。 ひとつはFaceNetと呼ばれ、アイデンティティと詳細をキャプチャし、もうひとつは生成に焦点を当てています。 制御精度を高めるために、制御ミキサーモジュールは、目標整列制御と基準整列制御の相関特徴を符号化し、新しい誘導方法、基準制御誘導、制御順応性向上のための生成過程を操る。 顔ビデオデータセットをトレーニングすることで、FaceNetのリッチな表現を完全に活用し、コントロールの順守を確保します。 広範囲にわたる実験は、ControlFaceのアイデンティティ保存と制御精度における優れたパフォーマンスを示し、その実用性を強調している。 プロジェクトのWebサイト https://cvlab-kaist.github.io/ControlFace/.com/ をご覧ください。

関連論文リスト

• Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control [59.954322727683746]
  Face-Adapterは、事前訓練された拡散モデルのための高精度で忠実な顔編集のために設計されている。 Face-Adapterは、モーションコントロールの精度、ID保持能力、生成品質の点で同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2024-05-21T17:50:12Z)
• When ControlNet Meets Inexplicit Masks: A Case Study of ControlNet on its Contour-following Ability [93.15085958220024]
  ControlNetは、ユーザーが提供するマスクの正確な輪郭と密に一致したコンテンツを作成するのに長けている。 これらのマスクがノイズを含む場合、非専門家で頻繁に発生するため、出力には不要なアーティファクトが含まれる。 筆者らはまず, 深部分析により, 種々の劣化レベルを有する非説明マスクの影響を抑える上で重要な役割について述べる。 劣化推定器と形状優先変調ブロックからなる高度な形状認識制御ネットを考案した。
  論文  参考訳（メタデータ） (2024-03-01T11:45:29Z)
• FineControlNet: Fine-level Text Control for Image Generation with Spatially Aligned Text Control Injection [28.65209293141492]
  FineControlNetは、正確なポーズ制御能力を維持しながら、各インスタンスの外観を細かく制御する。 FineControlNetは、ユーザが提供したインスタンス固有のテキストプロンプトとポーズに従うイメージを生成する上で、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-12-14T18:59:43Z)
• DisControlFace: Adding Disentangled Control to Diffusion Autoencoder for One-shot Explicit Facial Image Editing [14.537856326925178]
  我々は、生成的顔画像編集のきめ細かい制御の探索に焦点をあてる。 本稿では,DisControlFaceという,拡散に基づく新しい編集フレームワークを提案する。 我々のモデルは、3Dやビデオデータを必要とすることなく、2Dインザワイルドなポートレート画像を用いて訓練することができる。
  論文  参考訳（メタデータ） (2023-12-11T08:16:55Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• Reference-Guided Large-Scale Face Inpainting with Identity and Texture Control [4.866431869728018]
  Face Inpaintingは、破損した領域内の顔画像の欠落したピクセルを確実に予測することを目的としている。 既存のほとんどの手法は、大きなデータセットから顔画像の分布を学習する生成モデルに依存している。 本稿では,参照顔画像によって案内される識別とテクスチャ制御により,大規模欠落領域を埋める新しい参照誘導型顔塗装法を提案する。
  論文  参考訳（メタデータ） (2023-03-13T11:22:37Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• GAN-Control: Explicitly Controllable GANs [4.014524824655106]
  生成された画像を明示的に制御するGANをトレーニングするためのフレームワークを提示する。 生成した画像は、年齢、ポーズ、表現などの正確な属性を設定して制御することができます。
  論文  参考訳（メタデータ） (2021-01-07T10:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。