論文の概要: INFAMOUS-NeRF: ImproviNg FAce MOdeling Using Semantically-Aligned Hypernetworks with Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2312.16197v1
• Date: Sat, 23 Dec 2023 02:52:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-31 03:01:27.987442
• Title: INFAMOUS-NeRF: ImproviNg FAce MOdeling Using Semantically-Aligned Hypernetworks with Neural Radiance Fields
• Title（参考訳）: ニューラルラジアンス場を有するセマンティックアライメントハイパーネットを用いたINFAMOUS-NeRFによる改良Ngファスモデリング
• Authors: Andrew Hou, Feng Liu, Zhiyuan Ren, Michel Sarkis, Ning Bi, Yiying Tong, Xiaoming Liu
• Abstract要約: INFAMOUS-NeRFは、NeRFにハイパーネットを導入する暗黙の変形可能な顔モデルである。 NeRFはさらに、顔境界に沿ってNeRFレンダリングを改善するための新しい制約を導入した。 本手法は,従来の顔のモデリング手法よりも高速な表現能力を実現することを示す。
• 参考スコア（独自算出の注目度）: 20.185478842467234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose INFAMOUS-NeRF, an implicit morphable face model that introduces hypernetworks to NeRF to improve the representation power in the presence of many training subjects. At the same time, INFAMOUS-NeRF resolves the classic hypernetwork tradeoff of representation power and editability by learning semantically-aligned latent spaces despite the subject-specific models, all without requiring a large pretrained model. INFAMOUS-NeRF further introduces a novel constraint to improve NeRF rendering along the face boundary. Our constraint can leverage photometric surface rendering and multi-view supervision to guide surface color prediction and improve rendering near the surface. Finally, we introduce a novel, loss-guided adaptive sampling method for more effective NeRF training by reducing the sampling redundancy. We show quantitatively and qualitatively that our method achieves higher representation power than prior face modeling methods in both controlled and in-the-wild settings. Code and models will be released upon publication.
• Abstract（参考訳）: 提案するINFAMOUS-NeRFは,多くの訓練対象の存在下での表現力を向上させるために,NeRFにハイパーネットを導入する暗黙の変形可能な顔モデルである。 同時にINFAMOUS-NeRFは、主観的なモデルに拘わらず、意味的に整合した潜在空間を学習することで、表現力と編集性という古典的なハイパーネットワークのトレードオフを解消する。 INFAMOUS-NeRFはさらに、顔境界に沿ってNeRFレンダリングを改善するための新しい制約を導入した。 この制約は、測光面レンダリングとマルチビュー監視を活用し、表面色予測を誘導し、表面近傍のレンダリングを改善する。 最後に, サンプリング冗長性を低減し, より効果的なNeRFトレーニングのための新しい適応サンプリング手法を提案する。 本手法は,従来の顔のモデリング手法よりも高速な表現能力を実現することを定量的かつ定性的に示す。 コードとモデルは公開時にリリースされる。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Field [52.09661042881063]
  テキストフィールドとしてNeRFのbfprovenance(可視な位置)をモデル化する手法を提案する。 我々は、NeRF最適化におけるポイントごとの精度のモデリングにより、新しいビュー合成と不確実性推定の改善につながる情報により、モデルが強化されることを示す。
  論文  参考訳（メタデータ） (2024-01-16T06:19:18Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Self-Evolving Neural Radiance Fields [31.124406548504794]
  我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。 数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。 既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
  論文  参考訳（メタデータ） (2023-12-02T02:28:07Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer [44.220611552133036]
  我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。 また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T08:36:30Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
  我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。 本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-01-26T05:14:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。