論文の概要: Hyperspectral Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2403.14839v1
- Date: Thu, 21 Mar 2024 21:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 19:06:46.532718
- Title: Hyperspectral Neural Radiance Fields
- Title(参考訳): ハイパースペクトル神経放射場
- Authors: Gerry Chen, Sunil Kumar Narayanan, Thomas Gautier Ottou, Benjamin Missaoui, Harsh Muriki, Cédric Pradalier, Yongsheng Chen,
- Abstract要約: ニューラルラジアンス場(NeRF)を用いたハイパースペクトル3次元再構成を提案する。
NeRFは、様々なカメラモデルによって捉えられたシーンの高品質なボリューム3D表現を作ることで広く成功している。
提案手法により,高速かつ高精度な3次元ハイパースペクトルシーンの創出が可能となった。
- 参考スコア(独自算出の注目度): 11.485829401765521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral Imagery (HSI) has been used in many applications to non-destructively determine the material and/or chemical compositions of samples. There is growing interest in creating 3D hyperspectral reconstructions, which could provide both spatial and spectral information while also mitigating common HSI challenges such as non-Lambertian surfaces and translucent objects. However, traditional 3D reconstruction with HSI is difficult due to technological limitations of hyperspectral cameras. In recent years, Neural Radiance Fields (NeRFs) have seen widespread success in creating high quality volumetric 3D representations of scenes captured by a variety of camera models. Leveraging recent advances in NeRFs, we propose computing a hyperspectral 3D reconstruction in which every point in space and view direction is characterized by wavelength-dependent radiance and transmittance spectra. To evaluate our approach, a dataset containing nearly 2000 hyperspectral images across 8 scenes and 2 cameras was collected. We perform comparisons against traditional RGB NeRF baselines and apply ablation testing with alternative spectra representations. Finally, we demonstrate the potential of hyperspectral NeRFs for hyperspectral super-resolution and imaging sensor simulation. We show that our hyperspectral NeRF approach enables creating fast, accurate volumetric 3D hyperspectral scenes and enables several new applications and areas for future study.
- Abstract(参考訳): ハイパースペクトル画像(HSI)は、試料の材料および/または化学組成を非破壊的に決定する多くの用途で使用されている。
空間情報とスペクトル情報の両方を提供するとともに、非ランベルト面や半透明物体のような一般的なHSI課題を緩和する3次元ハイパースペクトル再構成への関心が高まっている。
しかし,HSIを用いた従来の3次元再構成はハイパースペクトルカメラの技術的限界のため困難である。
近年、Neural Radiance Fields (NeRF) は、様々なカメラモデルによって撮影されるシーンの高品質なボリューム3D表現の作成に広く成功している。
近年のNeRFの進歩を生かして、空間と視野方向のすべての点が波長依存性の放射光と透過スペクトルによって特徴づけられる超スペクトル3次元再構成の計算を提案する。
このアプローチを評価するために,8つのシーンと2つのカメラに2000近いハイパースペクトル画像を含むデータセットを収集した。
我々は従来のRGB NeRFベースラインとの比較を行い、代替スペクトル表現を用いたアブレーション試験を適用した。
最後に,ハイパースペクトル超解像・撮像センサシミュレーションにおけるハイパースペクトルNeRFの可能性を示す。
提案手法により,高速かつ高精度な3次元ハイパースペクトルシーンの創出が可能となり,新たな応用と今後の研究領域の実現が期待できる。
関連論文リスト
- Beyond the Visible: Jointly Attending to Spectral and Spatial Dimensions with HSI-Diffusion for the FINCH Spacecraft [2.5057561650768814]
FINCHミッションは、農地の作物の残留物を監視することを目的としている。
ハイパースペクトルイメージングは、スペクトル情報と空間情報の両方をキャプチャする。
ランダムノイズ、ストライプノイズ、デッドピクセルなど、様々な種類のノイズが生じる傾向がある。
論文 参考訳(メタデータ) (2024-06-15T19:34:18Z) - Multispectral Stereo-Image Fusion for 3D Hyperspectral Scene
Reconstruction [4.2056926734482065]
本稿では,異なるスペクトル範囲をカバーする2つの校正マルチスペクトルリアルタイム能動スナップショットカメラをステレオシステムに組み合わせた新しいアプローチを提案する。
異なるマルチスペクトルスナップショットカメラの併用により、3次元再構成とスペクトル解析の両方が可能となる。
論文 参考訳(メタデータ) (2023-12-15T13:20:35Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - Spec-NeRF: Multi-spectral Neural Radiance Fields [9.242830798112855]
異なるフィルタでフィルタされたカラー画像の集合から,マルチスペクトルレーダランス場とスペクトル感度関数(SSF)を共同で再構成する多スペクトルニューラルレイダランス場(Spec-NeRF)を提案する。
合成シナリオと実シナリオの両方を対象とした実験により, フィルタされたRGB画像と学習可能なNeRF, SSFを併用することで, 高い忠実度と有望なスペクトル再構成が達成できることを示した。
論文 参考訳(メタデータ) (2023-09-14T16:17:55Z) - Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-07T13:11:07Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - NeRFMeshing: Distilling Neural Radiance Fields into
Geometrically-Accurate 3D Meshes [56.31855837632735]
我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。
最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
論文 参考訳(メタデータ) (2023-03-16T16:06:03Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN [0.4606926019499777]
本稿では,ガウス雑音をNeRFアーキテクチャの重みに変換するために,ハイパーネットワークパラダイムを用いたGANアーキテクチャであるHyperNeRFGANを紹介する。
既存の最先端の代替モデルと比較して顕著な単純さにもかかわらず、提案モデルは多様な画像データセットにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2023-01-27T10:21:18Z) - Fast Hyperspectral Image Recovery via Non-iterative Fusion of
Dual-Camera Compressive Hyperspectral Imaging [22.683482662362337]
符号化開口分光画像(CASSI)は3次元ハイパースペクトル像(HSI)を撮像するための有望な技術である
様々な正規化器を用いて2次元計測から3次元データを再構成している。
実現可能な解決策の1つは、CASSIのRGB測定などの追加情報を活用することです。
論文 参考訳(メタデータ) (2020-12-30T10:29:32Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。