論文の概要: NeRFlame: FLAME-based conditioning of NeRF for 3D face rendering

• arxiv url: http://arxiv.org/abs/2303.06226v2
• Date: Mon, 27 Nov 2023 10:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 16:54:41.971194
• Title: NeRFlame: FLAME-based conditioning of NeRF for 3D face rendering
• Title（参考訳）: NeRFlame: FLAMEによる3次元顔レンダリングのためのNeRFの条件付け
• Authors: Wojciech Zaj\k{a}c, Joanna Waczy\'nska, Piotr Borycki, Jacek Tabor, Maciej Zi\k{e}ba, Przemys{\l}aw Spurek
• Abstract要約: 本稿では,NeRF法とFLAME法の両方の長所を組み合わせた新しい手法NeRFlameを提案する。 提案手法では,FLAMEメッシュを異なる密度の体積として利用し,FLAMEメッシュ近傍にのみ色値が存在する。 このFLAMEフレームワークは,RGB色を予測するためのNeRFアーキテクチャにシームレスに組み込まれ,ボリューム密度を明示的に表現し,RGB色を暗黙的にキャプチャする。
• 参考スコア（独自算出の注目度）: 10.991274404360194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional 3D face models are based on mesh representations with texture. One of the most important models is FLAME (Faces Learned with an Articulated Model and Expressions), which produces meshes of human faces that are fully controllable. Unfortunately, such models have problems with capturing geometric and appearance details. In contrast to mesh representation, the neural radiance field (NeRF) produces extremely sharp renders. However, implicit methods are hard to animate and do not generalize well to unseen expressions. It is not trivial to effectively control NeRF models to obtain face manipulation. The present paper proposes a novel approach, named NeRFlame, which combines the strengths of both NeRF and FLAME methods. Our method enables high-quality rendering capabilities of NeRF while also offering complete control over the visual appearance, similar to FLAME. In contrast to traditional NeRF-based structures that use neural networks for RGB color and volume density modeling, our approach utilizes the FLAME mesh as a distinct density volume. Consequently, color values exist only in the vicinity of the FLAME mesh. This FLAME framework is seamlessly incorporated into the NeRF architecture for predicting RGB colors, enabling our model to explicitly represent volume density and implicitly capture RGB colors.
• Abstract（参考訳）: 従来の3D顔モデルはテクスチャ付きメッシュ表現に基づいている。 最も重要なモデルの1つはFLAME (Faces Learned with an Articulated Model and Expressions)であり、完全に制御可能な人間の顔のメッシュを生成する。 残念ながら、このようなモデルは幾何学的および外観的詳細を捉えるのに問題がある。 メッシュ表現とは対照的に、ニューラルレイディアンス場(NeRF)は極めてシャープなレンダリングを生成する。 しかし、暗黙のメソッドはアニメーション化が難しく、見当たらない表現にうまく一般化できない。 顔操作を得るために、NeRFモデルを効果的に制御することは簡単ではない。 本稿では,NeRF法とFLAME法の両方の長所を組み合わせた新しい手法NeRFlameを提案する。 本手法は,FLAMEと同様の視覚的外観を完全に制御しながら,高品質なNeRFレンダリング機能を実現する。 RGB色と体積密度モデリングにニューラルネットワークを用いる従来のNeRF構造とは対照的に,本手法ではFLAMEメッシュを異なる密度ボリュームとして利用する。 したがって、色値はFLAMEメッシュの近傍にのみ存在する。 このFLAMEフレームワークは,RGB色を予測するためのNeRFアーキテクチャにシームレスに組み込まれ,ボリューム密度を明示的に表現し,RGB色を暗黙的にキャプチャする。

関連論文リスト

• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• Gaussian Splatting with NeRF-based Color and Opacity [7.121259735505479]
  本研究では、3Dオブジェクトの形状のGS表現と、色と不透明度のNeRFに基づく符号化を利用するハイブリッドモデルであるビューングディビジョン・ガウス・スティング(VDGS)を提案する。 我々のモデルは、テクスチャや光の成分を追加することなく、影、光の反射、そして3Dオブジェクトの透明さをよりよく記述します。
  論文  参考訳（メタデータ） (2023-12-21T10:52:59Z)
• Dynamic Mesh-Aware Radiance Fields [75.59025151369308]
  本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。 ハイブリッドシステムはメッシュ挿入のための視覚リアリズムの代替よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-08T20:18:18Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• Learning a Diffusion Prior for NeRFs [84.99454404653339]
  正規化グリッド上に符号化されたNeRFを生成するために拡散モデルを提案する。 提案モデルでは,現実的なNeRFのサンプル化が可能である一方で,条件付き世代を許容すると同時に,特定の観察をガイダンスとして与えることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T19:24:21Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields [62.89785701659139]
  我々は,NeRFシーン内の物体の3次元境界ボックスを抽出するトランスフォーマーベースのフレームワークNeRF-Locを提案する。 NeRF-Locは、事前訓練されたNeRFモデルとカメラビューを入力として、オブジェクトのラベル付き3Dバウンディングボックスを出力として生成する。
  論文  参考訳（メタデータ） (2022-09-24T18:34:22Z)
• HeadNeRF: A Real-time NeRF-based Parametric Head Model [39.240265611700735]
  HeadNeRFは、神経放射場と人間の頭部のパラメトリック表現を統合する、新しいNeRFベースのパラメトリックヘッドモデルである。 高忠実度ヘッドイメージをリアルタイムでレンダリングでき、生成した画像のレンダリングポーズとさまざまなセマンティック属性を直接制御できる。
  論文  参考訳（メタデータ） (2021-12-10T16:10:13Z)
• NeRF-VAE: A Geometry Aware 3D Scene Generative Model [14.593550382914767]
  本研究では,NeRFによる幾何学的構造を組み込んだ3次元シーン生成モデルNeRF-VAEを提案する。 NeRF-VAEの明示的な3Dレンダリングプロセスは、以前の生成モデルと畳み込みベースのレンダリングとを対比する。 トレーニングが完了すると、NeRF-VAEは以前に見つからなかった3D環境から幾何学的に一貫性のあるシーンを推測、描画できることを示す。
  論文  参考訳（メタデータ） (2021-04-01T16:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。