論文の概要: ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2403.12154v1
- Date: Mon, 18 Mar 2024 18:10:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:31:46.202933
- Title: ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis
- Title（参考訳）: ThermoNeRF: 熱合成のためのマルチモーダル神経放射場
- Authors: Mariam Hassan, Florent Forest, Olga Fink, Malcolm Mielle,
- Abstract要約: 本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。
熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。
また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
- 参考スコア（独自算出の注目度）: 5.66229031510643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Thermal scene reconstruction exhibit great potential for ap- plications across a broad spectrum of fields, including building energy consumption analysis and non-destructive testing. However, existing meth- ods typically require dense scene measurements and often rely on RGB images for 3D geometry reconstruction, with thermal information being projected post-reconstruction. This two-step strategy, adopted due to the lack of texture in thermal images, can lead to disparities between the geometry and temperatures of the reconstructed objects and those of the actual scene. To address this challenge, we propose ThermoNeRF, a novel multimodal approach based on Neural Radiance Fields, capable of rendering new RGB and thermal views of a scene jointly. To overcome the lack of texture in thermal images, we use paired RGB and thermal images to learn scene density, while distinct networks estimate color and temperature information. Furthermore, we introduce ThermoScenes, a new dataset to palliate the lack of available RGB+thermal datasets for scene reconstruction. Experimental results validate that ThermoNeRF achieves accurate thermal image synthesis, with an average mean ab- solute error of 1.5{\deg}C, an improvement of over 50% compared to using concatenated RGB+thermal data with Nerfacto, a state-of-the-art NeRF method.
- Abstract（参考訳）: 熱環境の再構築は、建築エネルギー消費分析や非破壊試験など、幅広い分野にわたるap-plicationの可能性を秘めている。
しかし、既存のメスオードは通常、密集したシーン計測を必要とし、しばしばRGB画像に頼って3次元形状の再構成を行い、熱情報は再建後に投影される。
この2段階の戦略は、熱画像のテクスチャの欠如によって採用され、再構成された物体の形状と温度と実際のシーンの温度の相違をもたらす可能性がある。
この課題に対処するため,ニューラル・ラジアンス・フィールドに基づく新しいマルチモーダル・アプローチであるThermoNeRFを提案する。
熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習し,異なるネットワークが色や温度情報を推定する。
さらに、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesを紹介する。
実験結果から, サーモネフロンの平均絶対温度誤差は1.5{\deg}Cであり, コンカレントRGB+熱データとNerfactoを用いた場合に比べて50%以上向上した。
関連論文リスト
- Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis [11.793425521298488]
本稿では,熱3D-GSという物理誘導型3次元ガウススプラッティング法を提案する。
The first large-scale benchmark dataset for this field called Thermal Infrared Novel-view Synthesis dataset (TI-NSD)。
その結果,本手法はPSNRの3.03dB改善によりベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-12T13:46:53Z) - ThermalGaussian: Thermal 3D Gaussian Splatting [25.536611434289647]
本研究では,RGBの高画質画像と熱モダリティのレンダリングが可能な,最初のサーマル3DGS手法であるMaterialGaussianを提案する。
本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。
論文 参考訳（メタデータ） (2024-09-11T11:45:57Z) - ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。
我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。
提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
論文 参考訳（メタデータ） (2024-07-22T02:51:29Z) - Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。
本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。
我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
論文 参考訳（メタデータ） (2024-04-15T17:59:57Z) - Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions [25.14690752484963]
ニューラル・ラジアンス・フィールド(NeRF)は、多視点画像からシーンの暗黙的な表現を学習することにより、写真リアリスティックなノベルビュー合成を実現する。
既存のアプローチは、生画像から低照度シーンを再構築するが、暗黒領域におけるテクスチャや境界の詳細の回復に苦慮している。
本研究では,熱的・可視的な原像を入力とし,同時に可視的・熱的視点合成を実現する熱-NeRFを提案する。
論文 参考訳（メタデータ） (2024-03-21T00:35:31Z) - Thermal-NeRF: Neural Radiance Fields from an Infrared Camera [29.58060552299745]
本研究では,IR画像のみからNeRFの形でボリュームシーン表現を推定する最初の方法であるTherial-NeRFを紹介する。
本研究では,既存の方法よりも優れた品質が得られることを示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-03-15T14:27:15Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T08:10:22Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳（メタデータ） (2022-10-09T13:50:12Z) - Enhancement of Novel View Synthesis Using Omnidirectional Image
Completion [61.78187618370681]
ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。
実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
論文 参考訳（メタデータ） (2022-03-18T13:49:25Z) - A Large-Scale, Time-Synchronized Visible and Thermal Face Dataset [62.193924313292875]
DEVCOM Army Research Laboratory Visible-Thermal Faceデータセット(ARL-VTF)を発表します。
395人の被験者から50万枚以上の画像が得られたARL-VTFデータセットは、これまでで最大の可視画像とサーマルフェイス画像の収集データだ。
本論文では,ALL-VTFデータセットを用いたサーマルフェースランドマーク検出とサーマル・トゥ・ヴィジブルフェース検証のベンチマーク結果と分析について述べる。
論文 参考訳（メタデータ） (2021-01-07T17:17:12Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳（メタデータ） (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。