論文の概要: Anisotropic Neural Representation Learning for High-Quality Neural
Rendering
- arxiv url: http://arxiv.org/abs/2311.18311v2
- Date: Mon, 11 Mar 2024 02:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 15:11:58.811811
- Title: Anisotropic Neural Representation Learning for High-Quality Neural
Rendering
- Title(参考訳): 高品質なニューラルレンダリングのための異方性ニューラル表現学習
- Authors: Y.Wang, J. Xu, Y. Zeng and Y. Gong
- Abstract要約: 本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。
我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance fields (NeRFs) have achieved impressive view synthesis
results by learning an implicit volumetric representation from multi-view
images. To project the implicit representation into an image, NeRF employs
volume rendering that approximates the continuous integrals of rays as an
accumulation of the colors and densities of the sampled points. Although this
approximation enables efficient rendering, it ignores the direction information
in point intervals, resulting in ambiguous features and limited reconstruction
quality. In this paper, we propose an anisotropic neural representation
learning method that utilizes learnable view-dependent features to improve
scene representation and reconstruction. We model the volumetric function as
spherical harmonic (SH)-guided anisotropic features, parameterized by
multilayer perceptrons, facilitating ambiguity elimination while preserving the
rendering efficiency. To achieve robust scene reconstruction without anisotropy
overfitting, we regularize the energy of the anisotropic features during
training. Our method is flexiable and can be plugged into NeRF-based
frameworks. Extensive experiments show that the proposed representation can
boost the rendering quality of various NeRFs and achieve state-of-the-art
rendering performance on both synthetic and real-world scenes.
- Abstract(参考訳): ニューラルレイディアンス場(NeRF)は,多視点画像から暗黙の容積表現を学習することにより,印象的なビュー合成を実現している。
暗黙表現を画像に投影するために、nerfは、サンプリングされた点の色と密度の蓄積として、線の連続積分を近似するボリュームレンダリングを用いる。
この近似は効率的なレンダリングを可能にするが、方向情報を点間隔で無視し、あいまいな特徴と再構成品質が制限される。
本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。
我々は,体積関数を球面調和(SH)誘導異方性特徴としてモデル化し,多層パーセプトロンでパラメータ化し,レンダリング効率を保ちながら曖昧性除去を容易にする。
異方性オーバーフィッティングを伴わない堅牢なシーン再構築を実現するため,トレーニング中の異方性特徴のエネルギーを正規化する。
我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
広汎な実験により,提案手法により,様々なNeRFのレンダリング品質が向上し,合成シーンと実シーンの両方で最先端のレンダリング性能が得られることが示された。
関連論文リスト
- PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。
NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。
我々は本手法を実データと合成データの両方で評価する。
論文 参考訳(メタデータ) (2023-11-20T06:15:46Z) - FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance
Fields by Analyzing and Enhancing Fourier PlenOctrees [4.033107207078283]
Fourier PlenOctreesは動的ニューラルレイディアンス場(NeRF)のリアルタイムレンダリングの効率的な表現であることを示した。
本稿では,これらのアーティファクトの詳細な分析を行い,得られた知見を活用して,改良された表現を提案する。
論文 参考訳(メタデータ) (2023-10-31T17:59:58Z) - TensoIR: Tensorial Inverse Rendering [53.51211939277516]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳(メタデータ) (2023-04-24T21:39:13Z) - Multiscale Tensor Decomposition and Rendering Equation Encoding for View
Synthesis [7.680742911100444]
ニューラルレイディアンス特徴場(NRFF)と呼ばれる新しいアプローチを提案する。
NRFFは、NeRFデータセットとNSVFデータセットの両方でPSNRの1dB以上のレンダリング結果を改善する。
論文 参考訳(メタデータ) (2023-03-07T11:21:50Z) - IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable
Novel View Synthesis [90.03590032170169]
内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。
そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
論文 参考訳(メタデータ) (2022-10-02T22:45:11Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance
Fields [40.72851892972173]
本稿では,NeRFの視界依存放射のパラメータ化を反射放射率と構造表現に置き換えるRef-NeRFを提案する。
また,本モデルの内部的放射率表現は,シーン編集に有用であることを示す。
論文 参考訳(メタデータ) (2021-12-07T18:58:37Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。