論文の概要: MIMO-NeRF: Fast Neural Rendering with Multi-input Multi-output Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2310.01821v1
• Date: Tue, 3 Oct 2023 06:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:25:48.341890
• Title: MIMO-NeRF: Fast Neural Rendering with Multi-input Multi-output Neural Radiance Fields
• Title（参考訳）: MIMO-NeRF:多出力ニューラルレーダフィールドを用いた高速ニューラルレンダリング
• Authors: Takuhiro Kaneko
• Abstract要約: 放射場(NeRF)は、新規なビュー合成のための印象的な結果を示している。 これらは、単出力単出力多層パーセプトロン(SISO)の反復的な使用に依存し、3次元座標とビュー方向をサンプルワイズで色と体積密度にマッピングする。 我々は、SISOをaSuperviseに置き換え、グループワイズでマッピングを行うことにより、動作数を削減できるマルチインプットマルチアウトプットNeRF(MIMO-NeRF)を提案する。
• 参考スコア（独自算出の注目度）: 20.586692311724914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRFs) have shown impressive results for novel view synthesis. However, they depend on the repetitive use of a single-input single-output multilayer perceptron (SISO MLP) that maps 3D coordinates and view direction to the color and volume density in a sample-wise manner, which slows the rendering. We propose a multi-input multi-output NeRF (MIMO-NeRF) that reduces the number of MLPs running by replacing the SISO MLP with a MIMO MLP and conducting mappings in a group-wise manner. One notable challenge with this approach is that the color and volume density of each point can differ according to a choice of input coordinates in a group, which can lead to some notable ambiguity. We also propose a self-supervised learning method that regularizes the MIMO MLP with multiple fast reformulated MLPs to alleviate this ambiguity without using pretrained models. The results of a comprehensive experimental evaluation including comparative and ablation studies are presented to show that MIMO-NeRF obtains a good trade-off between speed and quality with a reasonable training time. We then demonstrate that MIMO-NeRF is compatible with and complementary to previous advancements in NeRFs by applying it to two representative fast NeRFs, i.e., a NeRF with sample reduction (DONeRF) and a NeRF with alternative representations (TensoRF).
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、新しいビュー合成において印象的な結果を示した。 しかし、それらは3d座標とビュー方向をサンプル的な方法で色とボリューム密度にマッピングする単入力多層パーセプトロン(siso mlp)を反復的に使用することでレンダリングを遅くする。 SISO MLPをMIMO MLPに置き換え、グループワイズでマッピングを行うことにより、MLPの動作数を削減できるマルチインプットマルチアウトプットNeRF(MIMO-NeRF)を提案する。 このアプローチの注目すべき課題の1つは、各点の色と体積密度がグループ内の入力座標の選択に応じて異なる可能性があることである。 また,MIMO MLPを複数の高速なMLPで正規化して,事前学習モデルを用いることなく,この曖昧さを軽減する自己教師付き学習手法を提案する。 比較およびアブレーション研究を含む総合的な実験評価の結果,MIMO-NeRFは適度なトレーニング時間で,速度と品質の良好なトレードオフが得られることを示した。 次に、MIMO-NeRFは2つの高速NeRF、すなわちサンプル低減(DONeRF)と代替表現(TensoRF)のNeRFに適用することにより、従来のNeRFと互換性があり相補的であることを示す。

関連論文リスト

• GL-NeRF: Gauss-Laguerre Quadrature Enables Training-Free NeRF Acceleration [4.06770650829784]
  本稿では,Gauss-Laguerre乗算を用いた計算量レンダリングの新しい視点であるGL-NeRFを提案する。 GL-NeRFはボリュームレンダリングに必要な呼び出し数を著しく削減し、追加のデータ構造やニューラルネットワークを導入しない。 GL-NeRFは,性能の低下を最小限に抑えることで,呼び出し回数を大幅に削減し,任意のNeRFモデルを高速化する可能性を示す。
  論文  参考訳（メタデータ） (2024-10-19T04:49:13Z)
• NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
  NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。 我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。 NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
  論文  参考訳（メタデータ） (2024-04-22T06:59:03Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [79.67071790034609]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
  メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。 我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
  論文  参考訳（メタデータ） (2023-12-13T13:37:32Z)
• Coordinate-Aware Modulation for Neural Fields [11.844561374381575]
  本稿では,ニューラルネットワークにおける合成とグリッド表現の両面を利用した新しい手法を提案する。 格子表現から抽出したスケールとシフト特徴を用いてパラメータを変調するニューラルコーディネート・アウェア・変調(CAM)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T10:42:51Z)
• MLP-SRGAN: A Single-Dimension Super Resolution GAN using MLP-Mixer [0.05219568203653523]
  単一次元超分解能生成適応ネットワーク(SRGAN)であるversa-SRGANを提案する。 SRGANは、MSSEG2チャレンジデータセットから高分解能(HR)FLAIR MRIを用いて訓練され、検証される。 その結果、SRGANの結果は、シャープなエッジ、ぼやけの少ない、テクスチャと微細解剖学的詳細を保存し、パラメータを少なくし、トレーニング/評価時間を短縮し、既存の方法よりもモデルサイズを小さくする。
  論文  参考訳（メタデータ） (2023-03-11T04:05:57Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• An MRF-UNet Product of Experts for Image Segmentation [1.7897459398362972]
  Markovのランダムフィールド(MRF)は、オーバーフィットしやすいラベルよりもシンプルにエンコードします。 UNet と MRF の分布積を計算することにより、両方の戦略を融合させることを提案する。 MRF-UNetはバックプロパゲーションによって共同で訓練される。
  論文  参考訳（メタデータ） (2021-04-12T14:25:32Z)
• KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs [57.92305990098477]
  NeRFは、RGB画像にニューラルラジアンスフィールドを取り付けることで、前例のない品質のシーンの斬新なビューを合成します。 NeRFは、深層多層パーセプトロン(MLP)を数百万回クエリする必要があるため、レンダリング時間が遅くなる。 本稿では,1個ではなく数千個の小片を利用することで,大幅なスピードアップが可能であることを実証する。
  論文  参考訳（メタデータ） (2021-03-25T10:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。