論文の概要: Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions
- arxiv url: http://arxiv.org/abs/2403.14053v1
- Date: Thu, 21 Mar 2024 00:35:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 15:46:42.810833
- Title: Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions
- Title(参考訳): 低照度環境下での熱モダリティとエンハンスレコンストラクション
- Authors: Jiacong Xu, Mingqian Liao, K Ram Prabhakar, Vishal M. Patel,
- Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は、多視点画像からシーンの暗黙的な表現を学習することにより、写真リアリスティックなノベルビュー合成を実現する。
既存のアプローチは、生画像から低照度シーンを再構築するが、暗黒領域におけるテクスチャや境界の詳細の回復に苦慮している。
本研究では,熱的・可視的な原像を入力とし,同時に可視的・熱的視点合成を実現する熱-NeRFを提案する。
- 参考スコア(独自算出の注目度): 25.14690752484963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) accomplishes photo-realistic novel view synthesis by learning the implicit volumetric representation of a scene from multi-view images, which faithfully convey the colorimetric information. However, sensor noises will contaminate low-value pixel signals, and the lossy camera image signal processor will further remove near-zero intensities in extremely dark situations, deteriorating the synthesis performance. Existing approaches reconstruct low-light scenes from raw images but struggle to recover texture and boundary details in dark regions. Additionally, they are unsuitable for high-speed models relying on explicit representations. To address these issues, we present Thermal-NeRF, which takes thermal and visible raw images as inputs, considering the thermal camera is robust to the illumination variation and raw images preserve any possible clues in the dark, to accomplish visible and thermal view synthesis simultaneously. Also, the first multi-view thermal and visible dataset (MVTV) is established to support the research on multimodal NeRF. Thermal-NeRF achieves the best trade-off between detail preservation and noise smoothing and provides better synthesis performance than previous work. Finally, we demonstrate that both modalities are beneficial to each other in 3D reconstruction.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は、多視点画像からシーンの暗黙の容積表現を学習し、色覚情報を忠実に伝達することで、フォトリアリスティックなノベルビュー合成を実現する。
しかし、センサノイズは低値の画素信号を汚染し、失明したカメラ画像信号処理装置は、極暗い状況下では、ほぼゼロに近い強度を除去し、合成性能を低下させる。
既存のアプローチは、生画像から低照度シーンを再構築するが、暗黒領域におけるテクスチャや境界の詳細の回復に苦慮している。
さらに、それらは明示的な表現に依存する高速モデルには適さない。
これらの問題に対処するため、熱カメラは照明変動に頑健であり、生画像は暗黒における任意の手がかりを保存し、同時に可視・可視画像合成を行う熱-NeRFを提案する。
また、マルチモーダルNeRFの研究を支援するために、最初のマルチビュー熱可視データセット(MVTV)が確立されている。
Thermal-NeRFは、ディテール保存とノイズスムーシングの最良のトレードオフを実現し、以前の作業よりも優れた合成性能を提供する。
最後に,2つのモダリティが互いに有益であることを示す。
関連論文リスト
- Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。
本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。
我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
論文 参考訳(メタデータ) (2024-04-15T17:59:57Z) - ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis [5.66229031510643]
本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。
熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。
また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
論文 参考訳(メタデータ) (2024-03-18T18:10:34Z) - NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - Enhancing Low-Light Images Using Infrared-Encoded Images [81.8710581927427]
従来の芸術は、主にピクセルワイド・ロスを用いて可視光スペクトルで捉えた低照度画像に焦点を当てていた。
我々は,赤外線カットオフフィルタを除去することにより,低照度環境下で撮影された画像の可視性を高める新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-09T08:29:19Z) - TensoIR: Tensorial Inverse Rendering [51.57268311847087]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳(メタデータ) (2023-04-24T21:39:13Z) - Diffusion in the Dark: A Diffusion Model for Low-Light Text Recognition [78.50328335703914]
ディフュージョン・イン・ザ・ダーク (Diffusion in the Dark, DiD) は、テキスト認識のための低照度画像再構成のための拡散モデルである。
実画像上での低照度テキスト認識において,Digital DiDがSOTAの低照度手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-03-07T23:52:51Z) - BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。
BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。
提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文 参考訳(メタデータ) (2022-11-23T10:53:37Z) - Seeing Through The Noisy Dark: Toward Real-world Low-Light Image
Enhancement and Denoising [125.56062454927755]
現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。
我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
論文 参考訳(メタデータ) (2022-10-02T14:57:23Z) - INFWIDE: Image and Feature Space Wiener Deconvolution Network for
Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。
INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。
合成データと実データを用いた実験は,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-17T15:22:31Z) - NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw
Images [37.917974033687464]
NeRFは、提案した入力画像のコレクションから高品質な新規ビュー合成技術である。
シーンのフルダイナミックレンジを保ちながら,直線的生画像を直接トレーニングするためにNeRFを変更した。
NRFは生雑音のゼロ平均分布に対して非常に頑健であることを示す。
論文 参考訳(メタデータ) (2021-11-26T18:59:47Z) - Thermal Image Super-Resolution Using Second-Order Channel Attention with
Varying Receptive Fields [4.991042925292453]
熱画像の効率よく再構成するシステムを提案する。
熱画像の復元は、安全、捜索、救助、軍事活動を含む用途に不可欠である。
論文 参考訳(メタデータ) (2021-07-30T22:17:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。