論文の概要: Rethinking Directional Integration in Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2311.16504v1
• Date: Tue, 28 Nov 2023 18:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 20:01:31.999079
• Title: Rethinking Directional Integration in Neural Radiance Fields
• Title（参考訳）: 神経放射場における方向積分の再考
• Authors: Congyue Deng, Jiawei Yang, Leonidas Guibas, Yue Wang
• Abstract要約: 数行のコード変更をNeRF変種に対して行うのと同じくらい簡単なNeRFレンダリング方程式の修正を導入する。 修正方程式は、学習された光線埋め込みによる光場レンダリングと解釈できることを示す。
• 参考スコア（独自算出の注目度）: 8.012147983948665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works use the Neural radiance field (NeRF) to perform multi-view 3D reconstruction, providing a significant leap in rendering photorealistic scenes. However, despite its efficacy, NeRF exhibits limited capability of learning view-dependent effects compared to light field rendering or image-based view synthesis. To that end, we introduce a modification to the NeRF rendering equation which is as simple as a few lines of code change for any NeRF variations, while greatly improving the rendering quality of view-dependent effects. By swapping the integration operator and the direction decoder network, we only integrate the positional features along the ray and move the directional terms out of the integration, resulting in a disentanglement of the view-dependent and independent components. The modified equation is equivalent to the classical volumetric rendering in ideal cases on object surfaces with Dirac densities. Furthermore, we prove that with the errors caused by network approximation and numerical integration, our rendering equation exhibits better convergence properties with lower error accumulations compared to the classical NeRF. We also show that the modified equation can be interpreted as light field rendering with learned ray embeddings. Experiments on different NeRF variations show consistent improvements in the quality of view-dependent effects with our simple modification.
• Abstract（参考訳）: 近年の研究では、Neural Radiance Field (NeRF) を用いて多視点3D再構成を行い、フォトリアリスティックシーンのレンダリングにおいて大きな飛躍をもたらした。 しかし、その有効性にもかかわらず、NeRFは光場レンダリングや画像ベースビュー合成と比較して、視野依存効果の学習能力に限界がある。 そこで我々は,NeRF のレンダリングの精度を大幅に向上させつつ,NeRF の任意の変化に対して数行のコード変更が簡単な NeRF レンダリング方程式の修正を導入する。 積分演算子と方向デコーダネットワークを交換することにより、線に沿った位置特徴のみを統合し、方向項を積分から外し、ビュー依存コンポーネントと独立コンポーネントをアンタングル化する。 修正方程式は、ディラック密度を持つ物体表面上の理想の場合の古典的な体積レンダリングと等価である。 さらに,ネットワーク近似と数値積分による誤差により,従来のNeRFと比較して誤差蓄積の少ない収束特性が向上することが証明された。 また,修正方程式は学習レイ埋め込みによる光場レンダリングと解釈できることを示した。 異なるnerf変動に関する実験では、単純な修正でビュー依存効果の品質が一貫して改善されている。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Anisotropic Neural Representation Learning for High-Quality Neural Rendering [0.0]
  本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。 我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
  論文  参考訳（メタデータ） (2023-11-30T07:29:30Z)
• GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields [12.92658687936068]
  我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。 逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。 レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
  論文  参考訳（メタデータ） (2023-06-09T17:12:35Z)
• IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable Novel View Synthesis [90.03590032170169]
  内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。 そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-02T22:45:11Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Ref-NeRF: Structured View-Dependent Appearance for Neural Radiance Fields [40.72851892972173]
  本稿では,NeRFの視界依存放射のパラメータ化を反射放射率と構造表現に置き換えるRef-NeRFを提案する。 また,本モデルの内部的放射率表現は,シーン編集に有用であることを示す。
  論文  参考訳（メタデータ） (2021-12-07T18:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。