論文の概要: LPMM: Intuitive Pose Control for Neural Talking-Head Model via Landmark-Parameter Morphable Model

• arxiv url: http://arxiv.org/abs/2305.10456v1
• Date: Wed, 17 May 2023 06:11:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 18:45:56.167170
• Title: LPMM: Intuitive Pose Control for Neural Talking-Head Model via Landmark-Parameter Morphable Model
• Title（参考訳）: LPMM:Landmark-Parameter Morphable Modelによるニューラルトーキングヘッドモデルに対する直観的姿勢制御
• Authors: Kwangho Lee, Patrick Kwon, Myung Ki Lee, Namhyuk Ahn, Junsoo Lee
• Abstract要約: トレーニング済みのニューラルトーキングヘッドモデル上での頭部方向と表情のパラメトリック制御を利用する新しい手法を提案する。 他の顔の特徴を歪ませることなく、特定の頭部ポーズ因子を調整することができる。
• 参考スコア（独自算出の注目度）: 8.439049188810166
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While current talking head models are capable of generating photorealistic talking head videos, they provide limited pose controllability. Most methods require specific video sequences that should exactly contain the head pose desired, being far from user-friendly pose control. Three-dimensional morphable models (3DMM) offer semantic pose control, but they fail to capture certain expressions. We present a novel method that utilizes parametric control of head orientation and facial expression over a pre-trained neural-talking head model. To enable this, we introduce a landmark-parameter morphable model (LPMM), which offers control over the facial landmark domain through a set of semantic parameters. Using LPMM, it is possible to adjust specific head pose factors, without distorting other facial attributes. The results show our approach provides intuitive rig-like control over neural talking head models, allowing both parameter and image-based inputs.
• Abstract（参考訳）: 現在のトーキングヘッドモデルは、フォトリアリスティックなトーキングヘッドビデオを生成することができるが、ポーズ制御性は限られている。 ほとんどの方法では、ユーザがフレンドリーなポーズコントロールから遠ざかっているため、特定のビデオシーケンスが要求される。 3次元モーファブルモデル(3dmm)は意味的なポーズ制御を提供するが、特定の表現を捉えることができない。 トレーニング済みのニューラルトーキングヘッドモデル上での頭部方向と表情のパラメトリック制御を利用する新しい手法を提案する。 これを実現するために,一組のセマンティックパラメータを通して顔のランドマーク領域を制御するランドマークパラメータ・モルファブル・モデル(LPMM)を導入する。 LPMMを用いて、他の顔の特徴を歪ませることなく、特定の頭部ポーズ因子を調整することができる。 その結果,本手法はニューラルトーキングヘッドモデルに対する直感的なrigライクな制御を提供し,パラメータと画像に基づく入力が可能であることがわかった。

関連論文リスト

• CVTHead: One-shot Controllable Head Avatar with Vertex-feature Transformer [29.718316669835954]
  本稿では,単一参照画像から制御可能なニューラルヘッドアバターを生成する新しいアプローチであるHeadを紹介する。 Headは最先端のグラフィックスベースの手法に匹敵するパフォーマンスを実現している。 様々な表情、ポーズ、カメラビューで、斬新な人間の頭部の効率的なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-11-11T00:19:47Z)
• Implicit Neural Head Synthesis via Controllable Local Deformation Fields [12.191729556779972]
  我々は,大域的変形場を局所的に分解する部分的暗黙的形状モデルを構築した。 我々の新しい定式化は、3DMMに基づくパラメータによる局所的な意味的リグ様制御を伴う複数の暗黙的変形場をモデル化する。 我々の定式化は、従来の暗黙単分子アプローチよりも、局所的に制御可能な非線形変形をよりシャープに表現する。
  論文  参考訳（メタデータ） (2023-04-21T16:35:28Z)
• NPC: Neural Point Characters from Video [21.470471345454524]
  高忠実な人間の3Dモデルは、ビデオから直接学ぶことができる。 以前の方法はテンプレートの使用を避けるが、観測から標準空間への高コストあるいは不適切なマッピングに依存していた。 アニマタブルな文字を再構成するためのハイブリッドなポイントベース表現を提案する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:22Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• RigNeRF: Fully Controllable Neural 3D Portraits [52.91370717599413]
  RigNeRFは、単一のポートレートビデオから学んだ頭部ポーズと表情を完全に制御できる。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-13T21:28:34Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)
• MoFaNeRF: Morphable Facial Neural Radiance Field [12.443638713719357]
  MoFaNeRFは、自由視点画像をベクトル空間で符号化された顔の形、表情、外観にマッピングするパラメトリックモデルである。 識別特異的変調とエンコーダテクスチャを導入することにより、正確な測光の詳細を合成する。 本モデルでは,画像ベースのフィッティング,ランダム生成,顔リギング,顔編集,新しいビューなど,複数のアプリケーションに強い能力を示す。
  論文  参考訳（メタデータ） (2021-12-04T11:25:28Z)
• PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering [56.762094966235566]
  ポートレート画像ニューラルレンダは、3次元の変形可能な顔モデルのパラメータで顔の動きを制御するために提案される。 提案モデルでは直感的な修正によって正確な動きで写真リアルなポートレート画像を生成することができる。 本モデルでは、単一の参照画像と駆動音声ストリームのみから、説得力のある動きでコヒーレントな動画を生成することができる。
  論文  参考訳（メタデータ） (2021-09-17T07:24:16Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)
• StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
  StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。 3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T21:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。