Fugu-MT 論文翻訳(概要): Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions

論文の概要: Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions

arxiv url: http://arxiv.org/abs/2403.14053v1
Date: Thu, 21 Mar 2024 00:35:31 GMT
ステータス: 処理完了
システム内更新日: 2024-03-22 15:46:42.810833
Title: Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions
Title（参考訳）: 低照度環境下での熱モダリティとエンハンスレコンストラクション
Authors: Jiacong Xu, Mingqian Liao, K Ram Prabhakar, Vishal M. Patel,
Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は、多視点画像からシーンの暗黙的な表現を学習することにより、写真リアリスティックなノベルビュー合成を実現する。既存のアプローチは、生画像から低照度シーンを再構築するが、暗黒領域におけるテクスチャや境界の詳細の回復に苦慮している。本研究では,熱的・可視的な原像を入力とし,同時に可視的・熱的視点合成を実現する熱-NeRFを提案する。
参考スコア（独自算出の注目度）: 25.14690752484963
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural Radiance Fields (NeRF) accomplishes photo-realistic novel view synthesis by learning the implicit volumetric representation of a scene from multi-view images, which faithfully convey the colorimetric information. However, sensor noises will contaminate low-value pixel signals, and the lossy camera image signal processor will further remove near-zero intensities in extremely dark situations, deteriorating the synthesis performance. Existing approaches reconstruct low-light scenes from raw images but struggle to recover texture and boundary details in dark regions. Additionally, they are unsuitable for high-speed models relying on explicit representations. To address these issues, we present Thermal-NeRF, which takes thermal and visible raw images as inputs, considering the thermal camera is robust to the illumination variation and raw images preserve any possible clues in the dark, to accomplish visible and thermal view synthesis simultaneously. Also, the first multi-view thermal and visible dataset (MVTV) is established to support the research on multimodal NeRF. Thermal-NeRF achieves the best trade-off between detail preservation and noise smoothing and provides better synthesis performance than previous work. Finally, we demonstrate that both modalities are beneficial to each other in 3D reconstruction.
Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、多視点画像からシーンの暗黙の容積表現を学習し、色覚情報を忠実に伝達することで、フォトリアリスティックなノベルビュー合成を実現する。しかし、センサノイズは低値の画素信号を汚染し、失明したカメラ画像信号処理装置は、極暗い状況下では、ほぼゼロに近い強度を除去し、合成性能を低下させる。既存のアプローチは、生画像から低照度シーンを再構築するが、暗黒領域におけるテクスチャや境界の詳細の回復に苦慮している。さらに、それらは明示的な表現に依存する高速モデルには適さない。これらの問題に対処するため、熱カメラは照明変動に頑健であり、生画像は暗黒における任意の手がかりを保存し、同時に可視・可視画像合成を行う熱-NeRFを提案する。また、マルチモーダルNeRFの研究を支援するために、最初のマルチビュー熱可視データセット(MVTV)が確立されている。 Thermal-NeRFは、ディテール保存とノイズスムーシングの最良のトレードオフを実現し、以前の作業よりも優れた合成性能を提供する。最後に,2つのモダリティが互いに有益であることを示す。

関連論文リスト

ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
論文参考訳（メタデータ） (2024-07-22T02:51:29Z)
NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文参考訳（メタデータ） (2024-05-23T17:59:57Z)
Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
論文参考訳（メタデータ） (2024-04-15T17:59:57Z)
ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis [5.66229031510643]
本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
論文参考訳（メタデータ） (2024-03-18T18:10:34Z)
NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文参考訳（メタデータ） (2024-03-02T22:08:10Z)
Enhancing Low-Light Images Using Infrared-Encoded Images [81.8710581927427]
従来の芸術は、主にピクセルワイド・ロスを用いて可視光スペクトルで捉えた低照度画像に焦点を当てていた。我々は,赤外線カットオフフィルタを除去することにより,低照度環境下で撮影された画像の可視性を高める新しい手法を提案する。
論文参考訳（メタデータ） (2023-07-09T08:29:19Z)
Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
論文参考訳（メタデータ） (2023-05-06T10:17:42Z)
Diffusion in the Dark: A Diffusion Model for Low-Light Text Recognition [78.50328335703914]
ディフュージョン・イン・ザ・ダーク (Diffusion in the Dark, DiD) は、テキスト認識のための低照度画像再構成のための拡散モデルである。実画像上での低照度テキスト認識において,Digital DiDがSOTAの低照度手法より優れていることを示す。
論文参考訳（メタデータ） (2023-03-07T23:52:51Z)
BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。 BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文参考訳（メタデータ） (2022-11-23T10:53:37Z)
NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images [37.917974033687464]
NeRFは、提案した入力画像のコレクションから高品質な新規ビュー合成技術である。シーンのフルダイナミックレンジを保ちながら,直線的生画像を直接トレーニングするためにNeRFを変更した。 NRFは生雑音のゼロ平均分布に対して非常に頑健であることを示す。
論文参考訳（メタデータ） (2021-11-26T18:59:47Z)
Thermal Image Super-Resolution Using Second-Order Channel Attention with Varying Receptive Fields [4.991042925292453]
熱画像の効率よく再構成するシステムを提案する。熱画像の復元は、安全、捜索、救助、軍事活動を含む用途に不可欠である。
論文参考訳（メタデータ） (2021-07-30T22:17:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。