論文の概要: G-NeLF: Memory- and Data-Efficient Hybrid Neural Light Field for Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2409.05617v1
• Date: Mon, 9 Sep 2024 13:52:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 14:29:55.015768
• Title: G-NeLF: Memory- and Data-Efficient Hybrid Neural Light Field for Novel View Synthesis
• Title（参考訳）: G-NeLF:新しいビュー合成のためのメモリとデータ効率の良いハイブリッドニューラルネットワーク
• Authors: Lutao Jiang, Lin Wang,
• Abstract要約: 本稿では、空間認識機能を利用してニューラルネットワークの推論能力の可能性を解き放つ汎用グリッドベースNeLFアプローチであるG-NeLFを提案する。 G-NeLFは、大きなストレージオーバーヘッドを必要とせず、以前の最先端のNeLFを超えるためのモデルサイズがわずか 0.95 MBであるように訓練することができる。
• 参考スコア（独自算出の注目度）: 9.376238965029819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Following the burgeoning interest in implicit neural representation, Neural Light Field (NeLF) has been introduced to predict the color of a ray directly. Unlike Neural Radiance Field (NeRF), NeLF does not create a point-wise representation by predicting color and volume density for each point in space. However, the current NeLF methods face a challenge as they need to train a NeRF model first and then synthesize over 10K views to train NeLF for improved performance. Additionally, the rendering quality of NeLF methods is lower compared to NeRF methods. In this paper, we propose G-NeLF, a versatile grid-based NeLF approach that utilizes spatial-aware features to unleash the potential of the neural network's inference capability, and consequently overcome the difficulties of NeLF training. Specifically, we employ a spatial-aware feature sequence derived from a meticulously crafted grid as the ray's representation. Drawing from our empirical studies on the adaptability of multi-resolution hash tables, we introduce a novel grid-based ray representation for NeLF that can represent the entire space with a very limited number of parameters. To better utilize the sequence feature, we design a lightweight ray color decoder that simulates the ray propagation process, enabling a more efficient inference of the ray's color. G-NeLF can be trained without necessitating significant storage overhead and with the model size of only 0.95 MB to surpass previous state-of-the-art NeLF. Moreover, compared with grid-based NeRF methods, e.g., Instant-NGP, we only utilize one-tenth of its parameters to achieve higher performance. Our code will be released upon acceptance.
• Abstract（参考訳）: 暗黙の神経表現への関心が高まり、Neural Light Field (NeLF) は直接光線の色を予測するために導入された。 ニューラルラジアンス場(NeRF)とは異なり、NeLFは空間の各点の色と体積密度を予測することで点の表現を作らない。 しかし、現在のNeLFメソッドは、まずNeRFモデルをトレーニングし、10Kビューを合成して、パフォーマンスを改善するためにNeLFをトレーニングする必要があるため、課題に直面している。 また,NeLF法のレンダリング品質はNeRF法に比べて低い。 本稿では,空間認識機能を利用してニューラルネットワークの推論能力の可能性を解き放ち,NeLFトレーニングの難しさを克服する汎用グリッドベースNeLFアプローチであるG-NeLFを提案する。 具体的には、光線表現として細工された格子から導出した空間認識特徴系列を用いる。 多分解能ハッシュテーブルの適応性に関する実証的研究から、非常に限られた数のパラメータで空間全体を表現できる新しいグリッドベースのNeLF線表現を導入する。 シーケンス特性をよりよく活用するために、光伝搬過程をシミュレートし、より効率的な色推定を可能にする軽量な光色デコーダを設計する。 G-NeLFは、大きなストレージオーバーヘッドを必要とせず、以前の最先端のNeLFを超えるためのモデルサイズがわずか 0.95 MBであるように訓練することができる。 さらに、グリッドベースのNeRF法(例えばInstant-NGP)と比較して、パラメータの10分の1しか利用せず、高い性能を実現している。 私たちのコードは受け入れ次第解放されます。

関連論文リスト

• GL-NeRF: Gauss-Laguerre Quadrature Enables Training-Free NeRF Acceleration [4.06770650829784]
  本稿では,Gauss-Laguerre乗算を用いた計算量レンダリングの新しい視点であるGL-NeRFを提案する。 GL-NeRFはボリュームレンダリングに必要な呼び出し数を著しく削減し、追加のデータ構造やニューラルネットワークを導入しない。 GL-NeRFは,性能の低下を最小限に抑えることで,呼び出し回数を大幅に削減し,任意のNeRFモデルを高速化する可能性を示す。
  論文  参考訳（メタデータ） (2024-10-19T04:49:13Z)
• ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
  メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。 我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
  論文  参考訳（メタデータ） (2023-12-13T13:37:32Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Non-line-of-Sight Imaging via Neural Transient Fields [52.91826472034646]
  NLOS(non-Line-of-Sight)イメージングのためのニューラルモデリングフレームワークを提案する。 最近のNeRF(Neural Radiance Field)アプローチにインスパイアされた我々は、ニューラルネットワーク(NeTF)を表現するために多層パーセプトロン(MLP)を使用する。 共焦点と非共焦点の両方に適用可能な球状ボリュームnetf再構成パイプラインを定式化する。
  論文  参考訳（メタデータ） (2021-01-02T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。