論文の概要: Analyzing the Internals of Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2306.00696v2
• Date: Thu, 11 Apr 2024 08:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 19:27:55.879319
• Title: Analyzing the Internals of Neural Radiance Fields
• Title（参考訳）: 神経放射場の内部構造解析
• Authors: Lukas Radl, Andreas Kurz, Michael Steiner, Markus Steinberger,
• Abstract要約: 粗大なサンプリングに使用される大規模で訓練されたReLU-MLPを解析する。 中間活性化を重み推定に変換することで、これらの大きなミニマ活性化をいかに加速できるかを示す。
• 参考スコア（独自算出の注目度）: 4.681790910494339
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern Neural Radiance Fields (NeRFs) learn a mapping from position to volumetric density leveraging proposal network samplers. In contrast to the coarse-to-fine sampling approach with two NeRFs, this offers significant potential for acceleration using lower network capacity. Given that NeRFs utilize most of their network capacity to estimate radiance, they could store valuable density information in their parameters or their deep features. To investigate this proposition, we take one step back and analyze large, trained ReLU-MLPs used in coarse-to-fine sampling. Building on our novel activation visualization method, we find that trained NeRFs, Mip-NeRFs and proposal network samplers map samples with high density to local minima along a ray in activation feature space. We show how these large MLPs can be accelerated by transforming intermediate activations to a weight estimate, without any modifications to the training protocol or the network architecture. With our approach, we can reduce the computational requirements of trained NeRFs by up to 50% with only a slight hit in rendering quality. Extensive experimental evaluation on a variety of datasets and architectures demonstrates the effectiveness of our approach. Consequently, our methodology provides valuable insight into the inner workings of NeRFs.
• Abstract（参考訳）: 現代のニューラルラジアンス場(NeRF)は,提案するネットワークサンプリングを用いた位置から体積密度へのマッピングを学習する。 2つのNeRFによる粗大なサンプリング手法とは対照的に、ネットワーク容量の低下による加速には大きな可能性がある。 NeRFは、そのネットワーク容量のほとんどを放射率の推定に利用しているため、パラメータやその深い特徴に貴重な密度情報を格納することができる。 この提案を検討するために、我々は、粗大なサンプリングに使用される大規模で訓練されたReLU-MLPを分析し、分析する。 新たな活性化可視化手法を用いて, トレーニングされたNeRF, Mip-NeRF, 提案したネットワークサンプルが, 活性化特徴空間の光線に沿った局所最小値に高密度のサンプルをマッピングすることを確認した。 トレーニングプロトコルやネットワークアーキテクチャを変更することなく、中間活性化を重み推定に変換することで、これらの大きなMLPをどのように加速するかを示す。 提案手法では,レンダリング品質をわずかに損なうことなく,トレーニング済みのNeRFの計算要求を最大50%削減できる。 様々なデータセットやアーキテクチャに関する大規模な実験的評価は、我々のアプローチの有効性を実証している。 その結果,NeRFの内部動作に関する貴重な知見が得られた。

関連論文リスト

• NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
  NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。 我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。 NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
  論文  参考訳（メタデータ） (2024-04-22T06:59:03Z)
• ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
  メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。 我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
  論文  参考訳（メタデータ） (2023-12-13T13:37:32Z)
• Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
  ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。 次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。 我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
  論文  参考訳（メタデータ） (2023-05-29T13:30:26Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• DDNeRF: Depth Distribution Neural Radiance Fields [12.283891012446647]
  DDNeRF(Deep Distribution Neural Radiance Field)は、トレーニング中の放射線のサンプリング効率を大幅に向上させる新しい手法である。 粗いモデルを用いて、入力体積の透過性の内部分布を予測し、体積の総密度を推定する。 このより詳細な分布は、ファインモデルのサンプリング手順を導出する。
  論文  参考訳（メタデータ） (2022-03-30T19:21:07Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Learning to Estimate RIS-Aided mmWave Channels [50.15279409856091]
  そこでは,観測観測のために,既知の基地局とRIS位相制御行列を併用したアップリンクチャネル推定手法を提案する。 推定性能を向上し, トレーニングオーバーヘッドを低減するため, 深部展開法において, mmWaveチャネルの固有チャネル幅を生かした。 提案したディープ・アンフォールディング・ネットワーク・アーキテクチャは,トレーニングオーバーヘッドが比較的小さく,オンライン計算の複雑さも比較的小さく,最小二乗法(LS)法より優れていることが確認された。
  論文  参考訳（メタデータ） (2021-07-27T06:57:56Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• Wireless Localisation in WiFi using Novel Deep Architectures [4.541069830146568]
  本稿では,コモディティ・チップセットと標準チャネル・サウンドによるWiFi機器の屋内位置推定について検討する。 本稿では、異なるアンテナで受信されたWiFiサブキャリアに対応するチャネル状態情報から特徴を抽出する、新しい浅層ニューラルネットワーク(SNN)を提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。