論文の概要: EyeNeRF: A Hybrid Representation for Photorealistic Synthesis, Animation and Relighting of Human Eyes

• arxiv url: http://arxiv.org/abs/2206.08428v1
• Date: Thu, 16 Jun 2022 20:05:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-21 08:11:25.295192
• Title: EyeNeRF: A Hybrid Representation for Photorealistic Synthesis, Animation and Relighting of Human Eyes
• Title（参考訳）: EyeNeRF:人間の眼の光合成・アニメーション・ライティングのためのハイブリッド表現
• Authors: Gengyan Li (1 and 2), Abhimitra Meka (1), Franziska M\"uller (1), Marcel C. B\"uhler (2), Otmar Hilliges (2) ((1) Google Inc., (2) ETH Z\"urich)
• Abstract要約: 光とカメラのスパースセットのみを用いて、高忠実度キャプチャとアニメーション、視線合成とライティングを可能にする新しい幾何学と外観表現を提案する。 眼の高精細なクローズアップでは、目視のない照明条件下で、新しい視点から高精細なアニメーションの視線を合成できることが示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A unique challenge in creating high-quality animatable and relightable 3D avatars of people is modeling human eyes. The challenge of synthesizing eyes is multifold as it requires 1) appropriate representations for the various components of the eye and the periocular region for coherent viewpoint synthesis, capable of representing diffuse, refractive and highly reflective surfaces, 2) disentangling skin and eye appearance from environmental illumination such that it may be rendered under novel lighting conditions, and 3) capturing eyeball motion and the deformation of the surrounding skin to enable re-gazing. These challenges have traditionally necessitated the use of expensive and cumbersome capture setups to obtain high-quality results, and even then, modeling of the eye region holistically has remained elusive. We present a novel geometry and appearance representation that enables high-fidelity capture and photorealistic animation, view synthesis and relighting of the eye region using only a sparse set of lights and cameras. Our hybrid representation combines an explicit parametric surface model for the eyeball with implicit deformable volumetric representations for the periocular region and the interior of the eye. This novel hybrid model has been designed to address the various parts of that challenging facial area - the explicit eyeball surface allows modeling refraction and high-frequency specular reflection at the cornea, whereas the implicit representation is well suited to model lower-frequency skin reflection via spherical harmonics and can represent non-surface structures such as hair or diffuse volumetric bodies, both of which are a challenge for explicit surface models. We show that for high-resolution close-ups of the eye, our model can synthesize high-fidelity animated gaze from novel views under unseen illumination conditions.
• Abstract（参考訳）: 高品質のアニマタブルで楽しい3Dアバターを作るというユニークな挑戦は、人間の目をモデル化することだ。 目の合成の難しさは 必要以上に多様です 1) びまん性,屈折性,高反射性面を表現できるコヒーレントな視点合成のための眼の各種成分および眼窩領域の適切な表現 2 新規な照明条件下で加工できるような環境照明からの皮膚及び眼の視認の解消、及び 3)眼球運動と周辺皮膚の変形を捉えて再観察できるようにする。 これらの課題は、伝統的に高品質な結果を得るために高価で面倒な捕獲装置の使用を必要としており、なおも眼球領域のモデリングは、歴史的に解明され続けている。 我々は,光とカメラのスパースセットのみを用いて,高忠実度キャプチャとフォトリアリスティックアニメーション,視領域の視線合成とリライティングを可能にする新しい幾何学と外観表現を提案する。 我々のハイブリッド表現は、眼球の明示的なパラメトリック表面モデルと、眼窩領域と眼内部の暗黙的な変形可能な体積表現を組み合わせたものである。 この新しいハイブリッドモデルは、難易度の高い顔領域の様々な部分に対処するために設計されている - 明示的な眼球面は角膜における屈折と高周波のスペクトル反射をモデル化できるが、暗黙的な表現は球面高調波による低周波皮膚反射をモデル化するのに適しており、毛髪や拡散体積体のような非表面構造を表現できる。 眼の高精細なクローズアップでは、目視のない照明条件下で、新しい視点から高精細なアニメーション視線を合成できることを示す。

関連論文リスト

• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Relightable Gaussian Codec Avatars [26.255161061306428]
  Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。 3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。 我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
  論文  参考訳（メタデータ） (2023-12-06T18:59:58Z)
• Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
  リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。 近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。 我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。 G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:52Z)
• High-Fidelity Eye Animatable Neural Radiance Fields for Human Face [22.894881396543926]
  多視点画像から眼球運動に敏感な顔NeRFモデルを学習する。 本モデルでは,眼球回転と非剛性眼球周囲変形の高精度な高忠実度画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-08-01T18:26:55Z)
• MEGANE: Morphable Eyeglass and Avatar Network [83.65790119755053]
  眼鏡の3次元合成可能な形状モデルを提案する。 曲面幾何学と体積表現を組み合わせたハイブリッド表現を用いる。 我々のアプローチは、顔と眼鏡の間の影を鋳造するなど、グローバルな光輸送効果をモデル化する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:49Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
  光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。 本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T09:28:16Z)
• Exposing GAN-generated Faces Using Inconsistent Corneal Specular Highlights [42.83346543247565]
  GAN合成顔は両眼の角膜特異なハイライトで露出できることを示す。 この矛盾は、GANモデルにおける物理的・生理学的制約の欠如によって引き起こされる。
  論文  参考訳（メタデータ） (2020-09-24T19:43:16Z)
• Learning Implicit Surface Light Fields [34.89812112073539]
  近年,3次元オブジェクトの暗示表現は,学習に基づく3次元再構成作業において顕著な成果を上げている。 本研究では,物体の視覚的外観を表面光界で捉えるための新しい暗黙表現を提案する。 我々のモデルは、影や鏡面反射を含むリッチな視覚的外観を推測することができる。
  論文  参考訳（メタデータ） (2020-03-27T13:17:45Z)
• Seeing the World in a Bag of Chips [73.561388215585]
  ハンドヘルドRGBDセンサによる新しいビュー合成と環境再構築の二重問題に対処する。 提案するコントリビューションは,1)高スペクトル物体のモデリング,2)反射間およびフレネル効果のモデリング,3)形状のみを再構築するために必要な同じ入力で表面光場再構成を可能にすることを含む。
  論文  参考訳（メタデータ） (2020-01-14T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。