論文の概要: CoNFies: Controllable Neural Face Avatars

• arxiv url: http://arxiv.org/abs/2211.08610v1
• Date: Wed, 16 Nov 2022 01:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 15:21:39.305942
• Title: CoNFies: Controllable Neural Face Avatars
• Title（参考訳）: CoNFies:制御可能なニューラルフェイスアバター
• Authors: Heng Yu, Koichiro Niinuma, Laszlo A. Jeni
• Abstract要約: 顔自己画像(CoNFies)の制御可能な神経表現 顔自己画像(CoNFies)に対する制御可能なニューラル表現を提案する。 自動顔行動認識(AFAR)を用いて、表情をアクション単位(AU)とその強度の組み合わせとして特徴付ける。
• 参考スコア（独自算出の注目度）: 10.41057307836234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRF) are compelling techniques for modeling dynamic 3D scenes from 2D image collections. These volumetric representations would be well suited for synthesizing novel facial expressions but for two problems. First, deformable NeRFs are object agnostic and model holistic movement of the scene: they can replay how the motion changes over time, but they cannot alter it in an interpretable way. Second, controllable volumetric representations typically require either time-consuming manual annotations or 3D supervision to provide semantic meaning to the scene. We propose a controllable neural representation for face self-portraits (CoNFies), that solves both of these problems within a common framework, and it can rely on automated processing. We use automated facial action recognition (AFAR) to characterize facial expressions as a combination of action units (AU) and their intensities. AUs provide both the semantic locations and control labels for the system. CoNFies outperformed competing methods for novel view and expression synthesis in terms of visual and anatomic fidelity of expressions.
• Abstract（参考訳）: ニューラルラジアンス場(NeRF)は、2次元画像コレクションから動的3次元シーンをモデリングするための魅力的な技術である。 これらのボリューム表現は、新しい表情の合成に適しているが、2つの問題には適している。 まず、変形可能なNeRFは、シーンのオブジェクト非依存的かつモデル全体的運動であり、時間とともに動きがどのように変化するかを再現できるが、解釈可能な方法では変更できない。 第二に、制御可能なボリューム表現は、通常、シーンに意味を与えるために、時間を要するマニュアルアノテーションまたは3Dの監督を必要とする。 顔の自己像(CoNFies)に対する制御可能なニューラル表現を提案し,これら2つの問題を共通のフレームワーク内で解決し,自動処理に依存する。 自動顔行動認識(AFAR)を用いて、表情をアクション単位(AU)とその強度の組み合わせとして特徴付ける。 AUはシステムのセマンティックロケーションとコントロールラベルの両方を提供する。 CoNFiesは、視覚的および解剖学的表現の忠実度の観点から、新しいビューと表現合成のための競合する手法より優れていた。

関連論文リスト

• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• Controllable Radiance Fields for Dynamic Face Synthesis [125.48602100893845]
  非剛性運動を示す顔力学の生成モデル合成を明示的に制御する方法について検討する。 制御可能な放射場(CoRF) 頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T23:17:31Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation [37.39945646282971]
  本稿では,映像合成のためのニューラルレンダリング手法を提案する。 3次元形態素顔モデル(3DMM)の表情空間を利用して表情の分布を表現した。 本稿では,写真表現制御によるポートレートビデオのフリービュー合成における提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-10T20:41:15Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
  物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。 人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。 様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
  論文  参考訳（メタデータ） (2021-05-03T17:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。