論文の概要: MegaPortraits: One-shot Megapixel Neural Head Avatars

• arxiv url: http://arxiv.org/abs/2207.07621v2
• Date: Tue, 28 Mar 2023 10:58:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 19:56:39.874811
• Title: MegaPortraits: One-shot Megapixel Neural Head Avatars
• Title（参考訳）: megaportraits: メガピクセルのニューラルネットワークのアバター
• Authors: Nikita Drobyshev, Jenya Chelishev, Taras Khakhulin, Aleksei Ivakhnenko, Victor Lempitsky and Egor Zakharov
• Abstract要約: 本研究では,中分解能映像データと高分解能画像データの両方を活用するニューラルアーキテクチャとトレーニング手法を提案する。 訓練された高分解能ニューラルアバターモデルを、リアルタイムに動作する軽量の学生モデルに蒸留する方法を示す。 リアルタイム操作とIDロックは多くの実用的アバターシステムに必須である。
• 参考スコア（独自算出の注目度）: 7.05068904295608
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work, we advance the neural head avatar technology to the megapixel resolution while focusing on the particularly challenging task of cross-driving synthesis, i.e., when the appearance of the driving image is substantially different from the animated source image. We propose a set of new neural architectures and training methods that can leverage both medium-resolution video data and high-resolution image data to achieve the desired levels of rendered image quality and generalization to novel views and motion. We demonstrate that suggested architectures and methods produce convincing high-resolution neural avatars, outperforming the competitors in the cross-driving scenario. Lastly, we show how a trained high-resolution neural avatar model can be distilled into a lightweight student model which runs in real-time and locks the identities of neural avatars to several dozens of pre-defined source images. Real-time operation and identity lock are essential for many practical applications head avatar systems.
• Abstract（参考訳）: そこで本研究では, クロスドライブ合成の課題, すなわち, 映像の外観がアニメーション画像と大きく異なる場合に注目しながら, ニューラルネットワークアバター技術をメガピクセル解像度に進化させる。 本研究では,中分解能映像データと高分解能画像データの両方を活用し,所望のレンダリング画質と新たな視点や動きへの一般化を実現する,新たなニューラルアーキテクチャとトレーニング手法を提案する。 提案するアーキテクチャと手法が説得力のある高解像度のニューラルアバターを生み出し、クロスドライブのシナリオでライバルより優れていることを示す。 最後に、トレーニングされた高分解能ニューラルアバターモデルを、リアルタイムで動作し、ニューラルネットワークアバターのアイデンティティを数十の事前定義されたソースイメージにロックする軽量の学生モデルに蒸留する方法を示す。 リアルタイム操作とIDロックは多くの実用的アバターシステムに必須である。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis [7.485318043174123]
  リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。 提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。 実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
  論文  参考訳（メタデータ） (2023-11-09T17:05:53Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• NOFA: NeRF-based One-shot Facial Avatar Reconstruction [45.11455702291703]
  3次元顔アバター再構成はコンピュータグラフィックスとコンピュータビジョンにおいて重要な研究課題となっている。 本研究では,高忠実度3次元顔アバターを再構成するために,単一の音源画像のみを必要とするワンショット3次元顔アバター再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-07T07:58:18Z)
• Instant Volumetric Head Avatars [20.782425305421505]
  Instant Volumetric Head Avatars (INSTA)を提案する。 我々のパイプラインは、異なる表現とビューで対象を観察する単一の単眼のRGBポートレートビデオに基づいて訓練されている。 INSTAは、最新のGPUハードウェア上で10分未満でデジタルアバターを再構築する。
  論文  参考訳（メタデータ） (2022-11-22T18:59:46Z)
• Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
  我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。 われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。 そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-28T18:55:50Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)
• Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars [16.92378994798985]
  本稿では,1枚の写真から頭部アバターを生成するニューラルネットワークを提案する。 視覚的品質と速度の観点から,我々のシステムと最先端システムの類似性を比較した。
  論文  参考訳（メタデータ） (2020-08-24T03:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。