論文の概要: GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2212.04823v2
• Date: Tue, 28 Mar 2023 19:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 18:05:15.945817
• Title: GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields
• Title（参考訳）: GazeNeRF:ニューラルラジアンス場を用いた3次元視線リダイレクト
• Authors: Alessandro Ruzzi, Xiangwei Shi, Xi Wang, Gengyan Li, Shalini De Mello, Hyung Jin Chang, Xucong Zhang, Otmar Hilliges
• Abstract要約: 既存の視線リダイレクト法は2次元画像上で動作し、3次元一貫した結果を生成するのに苦労する。 顔領域と眼球は3次元構造であり、協調しているが独立して動くという直感に基づいて構築する。
• 参考スコア（独自算出の注目度）: 100.53114092627577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose GazeNeRF, a 3D-aware method for the task of gaze redirection. Existing gaze redirection methods operate on 2D images and struggle to generate 3D consistent results. Instead, we build on the intuition that the face region and eyeballs are separate 3D structures that move in a coordinated yet independent fashion. Our method leverages recent advancements in conditional image-based neural radiance fields and proposes a two-stream architecture that predicts volumetric features for the face and eye regions separately. Rigidly transforming the eye features via a 3D rotation matrix provides fine-grained control over the desired gaze angle. The final, redirected image is then attained via differentiable volume compositing. Our experiments show that this architecture outperforms naively conditioned NeRF baselines as well as previous state-of-the-art 2D gaze redirection methods in terms of redirection accuracy and identity preservation.
• Abstract（参考訳）: 視線リダイレクトのための3D認識手法であるGazeNeRFを提案する。 既存の視線リダイレクト法は2次元画像上で動作し、3次元一貫した結果を生成するのに苦労する。 その代わり、顔領域と眼球は3D構造であり、協調しているが独立して動くという直感に基づいている。 本手法は条件付き画像ベースニューラルラジアンスフィールドの最近の進歩を活用し,顔領域と眼領域の体積特性を別々に予測する2ストリームアーキテクチャを提案する。 3次元回転行列によって目の特徴を巧みに変換することで、所望の視角をきめ細かな制御が可能となる。 そして、最終的なリダイレクト画像は、微分可能なボリューム合成によって達成される。 実験の結果, この構造は, 鼻条件のNeRFベースラインと, 従来の2次元視線リダイレクト法を, リダイレクト精度とアイデンティティ保存の観点から上回ることがわかった。

関連論文リスト

• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model [39.64952340472541]
  本稿では,表情を制御可能な制御可能なテキスト・ツー・3Dアバター生成手法を提案する。 我々の主な戦略は、制御された視点認識画像のセットに最適化されたニューラルラジアンスフィールド(NeRF)における3Dアバターを構築することである。 実験結果を実証し,本手法の有効性について考察する。
  論文  参考訳（メタデータ） (2023-09-07T08:14:46Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• Accurate Gaze Estimation using an Active-gaze Morphable Model [9.192482716410511]
  画像から直接視線方向を後退させるのではなく、3次元形状モデルを追加することで視線推定精度が向上することを示す。 我々はこれを幾何学的頂点モデルに当てはめ、アクティブ・ゲイズ3DMMを与える。 本手法は,地上の真理視原点にアクセスすることなく,地上の真理視原点とカメラパラメータのみを用いて学習することができる。
  論文  参考訳（メタデータ） (2023-01-30T18:51:14Z)
• 3D GAN Inversion with Facial Symmetry Prior [42.22071135018402]
  3D GANとGANの反転法を関連付けて、実際の画像をジェネレータの潜伏空間に投影することは自然である。 顔の対称性を事前に導入することで3D GANのインバージョンを促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T11:57:45Z)
• Controllable Radiance Fields for Dynamic Face Synthesis [125.48602100893845]
  非剛性運動を示す顔力学の生成モデル合成を明示的に制御する方法について検討する。 制御可能な放射場(CoRF) 頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T23:17:31Z)
• 2D GANs Meet Unsupervised Single-view 3D Reconstruction [21.93671761497348]
  事前訓練されたGANに基づく制御可能な画像生成は、幅広いコンピュータビジョンタスクに役立てることができる。 本稿では,GAN生成した多視点画像から2次元の監視を活用できる新しい画像条件のニューラル暗黙界を提案する。 提案手法の有効性は,ジェネリックオブジェクトのより優れた1次元3次元再構成結果によって示される。
  論文  参考訳（メタデータ） (2022-07-20T20:24:07Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Solving Inverse Problems with NerfGANs [88.24518907451868]
  我々は、NeRF型生成モデルを用いて、逆問題を解決するための新しいフレームワークを提案する。 遅延空間を鼻で最適化することは、アーティファクトや、新しいビューレンダリングに繋がることを示す。 本研究では,より優れた3次元表面を得るための新しい放射場正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T17:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。