論文の概要: SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2312.08692v1
• Date: Thu, 14 Dec 2023 07:19:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 23:45:53.075877
• Title: SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field
• Title（参考訳）: spectrumnerf: 神経放射場を用いた物理的スペクトルレンダリング
• Authors: Ru Li, Jia Liu, Guanghui Liu, Shengping Zhang, Bing Zeng, Shuaicheng Liu
• Abstract要約: 本稿では,新しいスペクトルの観点から,高品質な物理ベースレンダリングのためのエンドツーエンドニューラルラジアンスフィールド(NeRF)アーキテクチャを提案する。 スペクトルNeRFは、合成データセットと実データセットの新しいビューを合成する際に、最近のNeRFベースの方法よりも優れている。
• 参考スコア（独自算出の注目度）: 70.15900280156262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose SpectralNeRF, an end-to-end Neural Radiance Field (NeRF)-based architecture for high-quality physically based rendering from a novel spectral perspective. We modify the classical spectral rendering into two main steps, 1) the generation of a series of spectrum maps spanning different wavelengths, 2) the combination of these spectrum maps for the RGB output. Our SpectralNeRF follows these two steps through the proposed multi-layer perceptron (MLP)-based architecture (SpectralMLP) and Spectrum Attention UNet (SAUNet). Given the ray origin and the ray direction, the SpectralMLP constructs the spectral radiance field to obtain spectrum maps of novel views, which are then sent to the SAUNet to produce RGB images of white-light illumination. Applying NeRF to build up the spectral rendering is a more physically-based way from the perspective of ray-tracing. Further, the spectral radiance fields decompose difficult scenes and improve the performance of NeRF-based methods. Comprehensive experimental results demonstrate the proposed SpectralNeRF is superior to recent NeRF-based methods when synthesizing new views on synthetic and real datasets. The codes and datasets are available at https://github.com/liru0126/SpectralNeRF.
• Abstract（参考訳）: 本稿では,新しいスペクトル視点から,高品質な物理ベースレンダリングを実現するために,NeRF(End-to-end Neural Radiance Field)アーキテクチャであるSpectralNeRFを提案する。 古典的なスペクトルレンダリングを2つの主要なステップに修正する。 1)異なる波長にまたがる一連のスペクトルマップの生成。 2)RGB出力に対するこれらのスペクトルマップの組み合わせ。 我々のSpectralNeRFは、提案したマルチ層パーセプトロン(MLP)ベースのアーキテクチャ(SpectralMLP)とSAUNet(Spectral Attention UNet)の2つのステップに従っている。 スペクトルMLPは、光の起源と光の方向を考慮し、スペクトル放射場を構築して、新しいビューのスペクトルマップを取得し、それをSAUNetに送信し、白色光のRGB画像を生成する。 スペクトルレンダリングを構築するためにNeRFを適用することは、レイトレーシングの観点からより物理的な方法である。 さらに、スペクトル放射場は難しいシーンを分解し、NeRF法の性能を向上させる。 包括的実験により,提案するspectrumnerfは,合成データセットと実データ集合の新しいビューを合成する際に,近年のnrf法よりも優れていることが示された。 コードとデータセットはhttps://github.com/liru0126/SpectralNeRFで公開されている。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• Spectral Graph Reasoning Network for Hyperspectral Image Classification [0.43512163406551996]
  畳み込みニューラルネットワーク(CNN)は、ハイパースペクトル画像(HSI)分類において顕著な性能を達成した。 本稿では、2つの重要なモジュールからなるスペクトルグラフ推論ネットワーク(SGR)学習フレームワークを提案する。 2つのHSIデータセットの実験により、提案したアーキテクチャが分類精度を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2024-07-02T20:29:23Z)
• Spectral-wise Implicit Neural Representation for Hyperspectral Image Reconstruction [14.621504062838731]
  Coded Aperture Snapshot Spectral Imaging (CASSI) は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 HSIを再構成する既存の方法は、通常、2次元圧縮画像から所定の離散スペクトル帯域のセットへの学習マッピングを含む。 本稿では、この制限に対処するための先駆的なステップとして、スペクトルワイドインシシットニューラル表現(SINR)と呼ばれる革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-02T08:06:07Z)
• Spectrum-driven Mixed-frequency Network for Hyperspectral Salient Object Detection [14.621504062838731]
  スペクトルから2つの異なる周波数成分を抽出することでスペクトル特性を完全に活用する新しい手法を提案する。 Spectral Saliency は有能なオブジェクトの領域を近似し、Spectral Edge は有能なオブジェクトのエッジ情報をキャプチャする。 この二重周波数情報を効果的に活用するために、新しい軽量スペクトラム駆動混合周波数ネットワーク(SMN)を導入する。
  論文  参考訳（メタデータ） (2023-12-02T08:05:45Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• Spec-NeRF: Multi-spectral Neural Radiance Fields [9.242830798112855]
  異なるフィルタでフィルタされたカラー画像の集合から,マルチスペクトルレーダランス場とスペクトル感度関数(SSF)を共同で再構成する多スペクトルニューラルレイダランス場(Spec-NeRF)を提案する。 合成シナリオと実シナリオの両方を対象とした実験により, フィルタされたRGB画像と学習可能なNeRF, SSFを併用することで, 高い忠実度と有望なスペクトル再構成が達成できることを示した。
  論文  参考訳（メタデータ） (2023-09-14T16:17:55Z)
• Specformer: Spectral Graph Neural Networks Meet Transformers [51.644312964537356]
  スペクトルグラフニューラルネットワーク(GNN)は、スペクトル領域グラフ畳み込みを通じてグラフ表現を学習する。 本稿では、全ての固有値の集合を効果的に符号化し、スペクトル領域で自己アテンションを行うSpecformerを紹介する。 複数のSpecformerレイヤを積み重ねることで、強力なスペクトルGNNを構築することができる。
  論文  参考訳（メタデータ） (2023-03-02T07:36:23Z)
• Cross-Spectral Neural Radiance Fields [49.28588927121722]
  X-NeRFは、異なる光スペクトル感度のカメラから撮影した画像から、クロススペクトルのシーン表現を学習するための新しい手法である。 X-NeRFは正規化されたクロスデバイス座標(NXDC)を利用して、任意の視点から異なるモードの画像を描画する。
  論文  参考訳（メタデータ） (2022-09-01T17:59:58Z)
• Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation [43.622087181097164]
  既存のスペクトル再構成法は通常、RGB画像から多くのスペクトル帯域への離散写像を学ぶ。 本稿では,ニューラルスペクトル再構成法(NeSR)を提案する。 NeSRは、任意の数のスペクトルバンドを目標出力として可能にすることで、スペクトル再構成の柔軟性を拡大する。
  論文  参考訳（メタデータ） (2021-12-24T09:08:23Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。