論文の概要: Rethinking Directional Integration in Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2311.16504v1
- Date: Tue, 28 Nov 2023 18:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 20:01:31.999079
- Title: Rethinking Directional Integration in Neural Radiance Fields
- Title(参考訳): 神経放射場における方向積分の再考
- Authors: Congyue Deng, Jiawei Yang, Leonidas Guibas, Yue Wang
- Abstract要約: 数行のコード変更をNeRF変種に対して行うのと同じくらい簡単なNeRFレンダリング方程式の修正を導入する。
修正方程式は、学習された光線埋め込みによる光場レンダリングと解釈できることを示す。
- 参考スコア(独自算出の注目度): 8.012147983948665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works use the Neural radiance field (NeRF) to perform multi-view 3D
reconstruction, providing a significant leap in rendering photorealistic
scenes. However, despite its efficacy, NeRF exhibits limited capability of
learning view-dependent effects compared to light field rendering or
image-based view synthesis. To that end, we introduce a modification to the
NeRF rendering equation which is as simple as a few lines of code change for
any NeRF variations, while greatly improving the rendering quality of
view-dependent effects. By swapping the integration operator and the direction
decoder network, we only integrate the positional features along the ray and
move the directional terms out of the integration, resulting in a
disentanglement of the view-dependent and independent components. The modified
equation is equivalent to the classical volumetric rendering in ideal cases on
object surfaces with Dirac densities. Furthermore, we prove that with the
errors caused by network approximation and numerical integration, our rendering
equation exhibits better convergence properties with lower error accumulations
compared to the classical NeRF. We also show that the modified equation can be
interpreted as light field rendering with learned ray embeddings. Experiments
on different NeRF variations show consistent improvements in the quality of
view-dependent effects with our simple modification.
- Abstract(参考訳): 近年の研究では、Neural Radiance Field (NeRF) を用いて多視点3D再構成を行い、フォトリアリスティックシーンのレンダリングにおいて大きな飛躍をもたらした。
しかし、その有効性にもかかわらず、NeRFは光場レンダリングや画像ベースビュー合成と比較して、視野依存効果の学習能力に限界がある。
そこで我々は,NeRF のレンダリングの精度を大幅に向上させつつ,NeRF の任意の変化に対して数行のコード変更が簡単な NeRF レンダリング方程式の修正を導入する。
積分演算子と方向デコーダネットワークを交換することにより、線に沿った位置特徴のみを統合し、方向項を積分から外し、ビュー依存コンポーネントと独立コンポーネントをアンタングル化する。
修正方程式は、ディラック密度を持つ物体表面上の理想の場合の古典的な体積レンダリングと等価である。
さらに,ネットワーク近似と数値積分による誤差により,従来のNeRFと比較して誤差蓄積の少ない収束特性が向上することが証明された。
また,修正方程式は学習レイ埋め込みによる光場レンダリングと解釈できることを示した。
異なるnerf変動に関する実験では、単純な修正でビュー依存効果の品質が一貫して改善されている。
関連論文リスト
- PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - Anisotropic Neural Representation Learning for High-Quality Neural
Rendering [0.0]
本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。
我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
論文 参考訳(メタデータ) (2023-11-30T07:29:30Z) - GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields [12.92658687936068]
我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。
逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。
レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
論文 参考訳(メタデータ) (2023-06-09T17:12:35Z) - NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry
Scaffolds [60.1382112938132]
室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。
NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-04-13T06:40:08Z) - DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction
using Neural Radiance Fields [56.30120727729177]
DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。
提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
論文 参考訳(メタデータ) (2023-03-20T18:03:32Z) - GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。
本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
論文 参考訳(メタデータ) (2023-01-26T05:14:12Z) - IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable
Novel View Synthesis [90.03590032170169]
内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。
そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
論文 参考訳(メタデータ) (2022-10-02T22:45:11Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳(メタデータ) (2022-07-10T13:47:20Z) - Differentiable Neural Radiosity [28.72382947011186]
本稿では,ニューラルネットワークを用いた微分レンダリング方程式の解を表現する新しい手法である微分可能なニューラルラジオシティを紹介する。
ニューラルラジオシティ技術に触発されて、微分レンダリング方程式の残差のノルムを最小化し、ネットワークを直接最適化する。
論文 参考訳(メタデータ) (2022-01-31T12:53:37Z) - Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance
Fields [40.72851892972173]
本稿では,NeRFの視界依存放射のパラメータ化を反射放射率と構造表現に置き換えるRef-NeRFを提案する。
また,本モデルの内部的放射率表現は,シーン編集に有用であることを示す。
論文 参考訳(メタデータ) (2021-12-07T18:58:37Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。