論文の概要: Analyzing the Internals of Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2306.00696v1
- Date: Thu, 1 Jun 2023 14:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:44:29.844890
- Title: Analyzing the Internals of Neural Radiance Fields
- Title(参考訳): 神経放射場の内部構造解析
- Authors: Lukas Radl, Andreas Kurz, Markus Steinberger
- Abstract要約: 粗大なサンプリングに使用される大規模で訓練されたReLU-MLPを解析する。
中間活性化を重み推定に変換することにより、これらの大きな粒子がどのように加速されるかを示す。
- 参考スコア(独自算出の注目度): 3.3885466945315237
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modern Neural Radiance Fields (NeRFs) learn a mapping from position to
volumetric density via proposal network samplers. In contrast to the
coarse-to-fine sampling approach with two NeRFs, this offers significant
potential for speedups using lower network capacity as the task of mapping
spatial coordinates to volumetric density involves no view-dependent effects
and is thus much easier to learn. Given that most of the network capacity is
utilized to estimate radiance, NeRFs could store valuable density information
in their parameters or their deep features. To this end, we take one step back
and analyze large, trained ReLU-MLPs used in coarse-to-fine sampling. We find
that trained NeRFs, Mip-NeRFs and proposal network samplers map samples with
high density to local minima along a ray in activation feature space. We show
how these large MLPs can be accelerated by transforming the intermediate
activations to a weight estimate, without any modifications to the parameters
post-optimization. With our approach, we can reduce the computational
requirements of trained NeRFs by up to 50% with only a slight hit in rendering
quality and no changes to the training protocol or architecture. We evaluate
our approach on a variety of architectures and datasets, showing that our
proposition holds in various settings.
- Abstract(参考訳): 現代のニューラルラジアンス場(NeRF)は,提案するネットワークサンプリング器を用いて位置から体積密度へのマッピングを学習する。
2つのNeRFによる粗大なサンプリングアプローチとは対照的に、空間座標を体積密度にマッピングするタスクはビュー依存効果を伴わず、学習しやすくするため、ネットワーク容量を低くするスピードアップには大きな可能性がある。
ネットワーク容量の大部分が放射率を推定するために利用されるため、NeRFはパラメータやその深い特徴に貴重な密度情報を格納することができる。
この目的のために、我々は、粗大なサンプリングに使われる大規模で訓練されたReLU-MLPを分析し、分析する。
トレーニングされたNeRF, Mip-NeRF, 提案したネットワークサンプルは, 高密度のサンプルを, 活性化特徴空間に沿う局所最小値にマッピングする。
パラメータを最適化せずに中間活性化を重み推定に変換することで、これらの大きなMLPをどのように加速するかを示す。
提案手法では,レンダリング品質をわずかに損なうことなく,トレーニングプロトコルやアーキテクチャを変更することなく,トレーニング済みのNeRFの計算要求を最大50%削減することができる。
さまざまなアーキテクチャやデータセットに対する我々のアプローチを評価し、提案がさまざまな設定で成り立つことを示す。
関連論文リスト
- ProNeRF: Learning Efficient Projection-Aware Ray Sampling for
Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。
我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
論文 参考訳(メタデータ) (2023-12-13T13:37:32Z) - Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple
Scale Neural Radiance Field Rendering [3.8200916793910973]
ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。
しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。
本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
論文 参考訳(メタデータ) (2023-10-03T08:34:49Z) - NeRF-LOAM: Neural Implicit Representation for Large-Scale Incremental
LiDAR Odometry and Mapping [14.433784957457632]
ニューラルドメトリー,ニューラルマッピング,メッシュ再構成の3つのモジュールからなる新しいNeRF-LOAMを提案する。
提案手法は,LiDARデータを用いた大規模環境において,最先端のオドメトリーとマッピング性能を実現するとともに,強力な一般化を実現する。
論文 参考訳(メタデータ) (2023-03-19T16:40:36Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - DDNeRF: Depth Distribution Neural Radiance Fields [12.283891012446647]
DDNeRF(Deep Distribution Neural Radiance Field)は、トレーニング中の放射線のサンプリング効率を大幅に向上させる新しい手法である。
粗いモデルを用いて、入力体積の透過性の内部分布を予測し、体積の総密度を推定する。
このより詳細な分布は、ファインモデルのサンプリング手順を導出する。
論文 参考訳(メタデータ) (2022-03-30T19:21:07Z) - Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。
提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
論文 参考訳(メタデータ) (2021-12-02T18:59:51Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-02T17:54:31Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳(メタデータ) (2020-11-17T12:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。