論文の概要: Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars

• arxiv url: http://arxiv.org/abs/2008.10174v1
• Date: Mon, 24 Aug 2020 03:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 11:40:24.234544
• Title: Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars
• Title（参考訳）: 一発現実的頭部アバターの高速二層神経合成
• Authors: Egor Zakharov, Aleksei Ivakhnenko, Aliaksandra Shysheya, Victor Lempitsky
• Abstract要約: 本稿では,1枚の写真から頭部アバターを生成するニューラルネットワークを提案する。 視覚的品質と速度の観点から,我々のシステムと最先端システムの類似性を比較した。
• 参考スコア（独自算出の注目度）: 16.92378994798985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a neural rendering-based system that creates head avatars from a single photograph. Our approach models a person's appearance by decomposing it into two layers. The first layer is a pose-dependent coarse image that is synthesized by a small neural network. The second layer is defined by a pose-independent texture image that contains high-frequency details. The texture image is generated offline, warped and added to the coarse image to ensure a high effective resolution of synthesized head views. We compare our system to analogous state-of-the-art systems in terms of visual quality and speed. The experiments show significant inference speedup over previous neural head avatar models for a given visual quality. We also report on a real-time smartphone-based implementation of our system.
• Abstract（参考訳）: 本論文では,1枚の写真から頭部アバターを生成できるニューラルネットワークシステムを提案する。 我々のアプローチは、人を2つの層に分解して外観をモデル化する。 第1層は、小さなニューラルネットワークによって合成されるポーズ依存粗画像である。 第2の層は、高周波の詳細を含むポーズ非依存なテクスチャイメージによって定義される。 テクスチャ画像はオフラインで生成され、ゆがめられ、粗画像に追加され、合成されたヘッドビューの高効率な解像度が確保される。 視覚的品質と速度の観点から,我々のシステムと最先端システムを比較した。 実験では、与えられた視覚的品質のために、以前の神経頭アバターモデルよりも大きな推論速度が示される。 また,スマートフォンによるリアルタイムシステム実装についても報告する。

関連論文リスト

• BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis [7.485318043174123]
  リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。 提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。 実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
  論文  参考訳（メタデータ） (2023-11-09T17:05:53Z)
• OPHAvatars: One-shot Photo-realistic Head Avatars [0.0]
  ポートレートが与えられた場合、駆動キーポイント機能を用いて、粗い音声ヘッドビデオを合成する。 粗いアバターのレンダリング画像を用いて,低画質の画像をブラインド顔復元モデルで更新する。 数回繰り返して、本手法は光リアルなアニマタブルな3Dニューラルヘッドアバターを合成することができる。
  論文  参考訳（メタデータ） (2023-07-18T11:24:42Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• Dynamic Neural Portraits [58.480811535222834]
  フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。 本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。 実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-11-25T10:06:14Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• MegaPortraits: One-shot Megapixel Neural Head Avatars [7.05068904295608]
  本研究では,中分解能映像データと高分解能画像データの両方を活用するニューラルアーキテクチャとトレーニング手法を提案する。 訓練された高分解能ニューラルアバターモデルを、リアルタイムに動作する軽量の学生モデルに蒸留する方法を示す。 リアルタイム操作とIDロックは多くの実用的アバターシステムに必須である。
  論文  参考訳（メタデータ） (2022-07-15T17:32:37Z)
• Realistic One-shot Mesh-based Head Avatars [7.100064936484693]
  本稿では,リアルなワンショットメッシュによる人間の頭部アバター作成システムROMEについて述べる。 一つの写真を用いて,人物固有の頭部メッシュと関連する神経テクスチャを推定し,局所的な測光と幾何学的詳細の両方を符号化する。 生成されたアバターはリグされ、ニューラルネットワークを使用してレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-06-16T17:45:23Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
  EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。 このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。 レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-24T18:33:02Z)
• Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation [99.64565200170897]
  本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。 我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
  論文  参考訳（メタデータ） (2020-01-14T18:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。