論文の概要: Analyzing the Internals of Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2306.00696v1
• Date: Thu, 1 Jun 2023 14:06:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 15:44:29.844890
• Title: Analyzing the Internals of Neural Radiance Fields
• Title（参考訳）: 神経放射場の内部構造解析
• Authors: Lukas Radl, Andreas Kurz, Markus Steinberger
• Abstract要約: 粗大なサンプリングに使用される大規模で訓練されたReLU-MLPを解析する。 中間活性化を重み推定に変換することにより、これらの大きな粒子がどのように加速されるかを示す。
• 参考スコア（独自算出の注目度）: 3.3885466945315237
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern Neural Radiance Fields (NeRFs) learn a mapping from position to volumetric density via proposal network samplers. In contrast to the coarse-to-fine sampling approach with two NeRFs, this offers significant potential for speedups using lower network capacity as the task of mapping spatial coordinates to volumetric density involves no view-dependent effects and is thus much easier to learn. Given that most of the network capacity is utilized to estimate radiance, NeRFs could store valuable density information in their parameters or their deep features. To this end, we take one step back and analyze large, trained ReLU-MLPs used in coarse-to-fine sampling. We find that trained NeRFs, Mip-NeRFs and proposal network samplers map samples with high density to local minima along a ray in activation feature space. We show how these large MLPs can be accelerated by transforming the intermediate activations to a weight estimate, without any modifications to the parameters post-optimization. With our approach, we can reduce the computational requirements of trained NeRFs by up to 50% with only a slight hit in rendering quality and no changes to the training protocol or architecture. We evaluate our approach on a variety of architectures and datasets, showing that our proposition holds in various settings.
• Abstract（参考訳）: 現代のニューラルラジアンス場(NeRF)は,提案するネットワークサンプリング器を用いて位置から体積密度へのマッピングを学習する。 2つのNeRFによる粗大なサンプリングアプローチとは対照的に、空間座標を体積密度にマッピングするタスクはビュー依存効果を伴わず、学習しやすくするため、ネットワーク容量を低くするスピードアップには大きな可能性がある。 ネットワーク容量の大部分が放射率を推定するために利用されるため、NeRFはパラメータやその深い特徴に貴重な密度情報を格納することができる。 この目的のために、我々は、粗大なサンプリングに使われる大規模で訓練されたReLU-MLPを分析し、分析する。 トレーニングされたNeRF, Mip-NeRF, 提案したネットワークサンプルは, 高密度のサンプルを, 活性化特徴空間に沿う局所最小値にマッピングする。 パラメータを最適化せずに中間活性化を重み推定に変換することで、これらの大きなMLPをどのように加速するかを示す。 提案手法では,レンダリング品質をわずかに損なうことなく,トレーニングプロトコルやアーキテクチャを変更することなく,トレーニング済みのNeRFの計算要求を最大50%削減することができる。 さまざまなアーキテクチャやデータセットに対する我々のアプローチを評価し、提案がさまざまな設定で成り立つことを示す。

関連論文リスト

• NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
  NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。 我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。 NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
  論文  参考訳（メタデータ） (2024-04-22T06:59:03Z)
• ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
  メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。 我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
  論文  参考訳（メタデータ） (2023-12-13T13:37:32Z)
• Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
  ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。 次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。 我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
  論文  参考訳（メタデータ） (2023-05-29T13:30:26Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• DDNeRF: Depth Distribution Neural Radiance Fields [12.283891012446647]
  DDNeRF(Deep Distribution Neural Radiance Field)は、トレーニング中の放射線のサンプリング効率を大幅に向上させる新しい手法である。 粗いモデルを用いて、入力体積の透過性の内部分布を予測し、体積の総密度を推定する。 このより詳細な分布は、ファインモデルのサンプリング手順を導出する。
  論文  参考訳（メタデータ） (2022-03-30T19:21:07Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Learning to Estimate RIS-Aided mmWave Channels [50.15279409856091]
  そこでは,観測観測のために,既知の基地局とRIS位相制御行列を併用したアップリンクチャネル推定手法を提案する。 推定性能を向上し, トレーニングオーバーヘッドを低減するため, 深部展開法において, mmWaveチャネルの固有チャネル幅を生かした。 提案したディープ・アンフォールディング・ネットワーク・アーキテクチャは,トレーニングオーバーヘッドが比較的小さく,オンライン計算の複雑さも比較的小さく,最小二乗法(LS)法より優れていることが確認された。
  論文  参考訳（メタデータ） (2021-07-27T06:57:56Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• Wireless Localisation in WiFi using Novel Deep Architectures [4.541069830146568]
  本稿では,コモディティ・チップセットと標準チャネル・サウンドによるWiFi機器の屋内位置推定について検討する。 本稿では、異なるアンテナで受信されたWiFiサブキャリアに対応するチャネル状態情報から特徴を抽出する、新しい浅層ニューラルネットワーク(SNN)を提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。