論文の概要: OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering

• arxiv url: http://arxiv.org/abs/2303.14662v1
• Date: Sun, 26 Mar 2023 09:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 18:20:31.490473
• Title: OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering
• Title（参考訳）: otavatar: コントロール可能な三面レンダリングを備えたワンショットトークフェイスアバター
• Authors: Zhiyuan Ma, Xiangyu Zhu, Guojun Qi, Zhen Lei, Lei Zhang
• Abstract要約: 制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
• 参考スコア（独自算出の注目度）: 81.55960827071661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllability, generalizability and efficiency are the major objectives of constructing face avatars represented by neural implicit field. However, existing methods have not managed to accommodate the three requirements simultaneously. They either focus on static portraits, restricting the representation ability to a specific subject, or suffer from substantial computational cost, limiting their flexibility. In this paper, we propose One-shot Talking face Avatar (OTAvatar), which constructs face avatars by a generalized controllable tri-plane rendering solution so that each personalized avatar can be constructed from only one portrait as the reference. Specifically, OTAvatar first inverts a portrait image to a motion-free identity code. Second, the identity code and a motion code are utilized to modulate an efficient CNN to generate a tri-plane formulated volume, which encodes the subject in the desired motion. Finally, volume rendering is employed to generate an image in any view. The core of our solution is a novel decoupling-by-inverting strategy that disentangles identity and motion in the latent code via optimization-based inversion. Benefiting from the efficient tri-plane representation, we achieve controllable rendering of generalized face avatar at $35$ FPS on A100. Experiments show promising performance of cross-identity reenactment on subjects out of the training set and better 3D consistency.
• Abstract（参考訳）: 制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 しかし,既存の手法では3つの要件を同時に満たすことはできなかった。 彼らは静的な肖像画に集中し、特定の主題に表現能力を制限するか、あるいはかなりの計算コストに悩まされ、柔軟性が制限される。 本稿では,顔アバターを汎用制御可能な3面描画ソリューションで構築し,顔アバターを1つのポートレートから構築できるワンショットトーキングフェイスアバター(OTAvatar)を提案する。 具体的には、OTAvatarはまず肖像画を動きのない識別コードに変換する。 次に、IDコードと動作コードを用いて効率の良いCNNを変調し、所望の動作で被写体を符号化する三面体定式ボリュームを生成する。 最後に、ボリュームレンダリングを使用して、任意のビューで画像を生成する。 私たちのソリューションの核心は、最適化ベースの反転によって潜在コード内のアイデンティティと動きを分離する、新しい逆変換戦略です。 効率の良いトリプレーン表現の恩恵を受け、a100上で35ドルのfpsで汎用顔アバターの制御可能なレンダリングを実現する。 実験では、トレーニングセット外の被験者に対するクロスアイデンティティ再現の有望な性能と3D一貫性が示された。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models [56.13752698926105]
  ポートレート画像から高忠実度3Dアバターを生成できるRodinHDを提案する。 我々はまず、多くのアバターに連続して三葉飛行機を取り付けたときに生じる破滅的な忘れの問題を特定する。 本研究では, より微細な階層表現を演算し, リッチな2次元テクスチャキューを捕捉し, 複数層での3次元拡散モデルに注入することにより, ポートレート画像の導出効果を最適化する。 三葉機用に最適化されたノイズスケジュールを持つ46Kアバターでトレーニングを行うと、得られたモデルは従来の方法よりも顕著な詳細で3Dアバターを生成することができ、内蔵機器に一般化することができる。
  論文  参考訳（メタデータ） (2024-07-09T15:14:45Z)
• GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
  本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。 この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
  論文  参考訳（メタデータ） (2024-04-02T17:58:35Z)
• One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
  本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。 我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。 提案手法は,従来のアバター適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-19T07:48:29Z)
• GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
  GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。 提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
  論文  参考訳（メタデータ） (2024-01-18T18:56:34Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。