論文の概要: ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2403.12154v2
• Date: Fri, 29 Nov 2024 14:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:16:32.176330
• Title: ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields
• Title（参考訳）: ThermoNeRF:マルチモーダル・ニューラル・ラディアンス・フィールドを用いた建築ファサードのための共同RGBとサーモノビュー合成
• Authors: Mariam Hassan, Florent Forest, Olga Fink, Malcolm Mielle,
• Abstract要約: 熱環境の再構築は、建築エネルギー消費の分析や非破壊的なインフラ試験の実行など、様々な用途において大きな可能性を秘めている。 既存の手法は通常、密集したシーン計測を必要とし、しばしばRGBの画像を3次元の幾何学的再構成に頼り、再建後の熱情報を投影する。 本研究では,新しいRGBとシーンの熱像を共同で描画するニューラルラジアンス場に基づく新しいアプローチであるThermoNeRFと,建築ファサードの8つのシーンと日常の8つのシーンからなる2つのRGB+熱画像のデータセットであるThermoScenesを提案する。
• 参考スコア（独自算出の注目度）: 5.66229031510643
• License:
• Abstract: Thermal scene reconstruction holds great potential for various applications, such as analyzing building energy consumption and performing non-destructive infrastructure testing. However, existing methods typically require dense scene measurements and often rely on RGB images for 3D geometry reconstruction, projecting thermal information post-reconstruction. This can lead to inconsistencies between the reconstructed geometry and temperature data and their actual values. To address this challenge, we propose ThermoNeRF, a novel multimodal approach based on Neural Radiance Fields that jointly renders new RGB and thermal views of a scene, and ThermoScenes, a dataset of paired RGB+thermal images comprising 8 scenes of building facades and 8 scenes of everyday objects. To address the lack of texture in thermal images, ThermoNeRF uses paired RGB and thermal images to learn scene density, while separate networks estimate color and temperature data. Unlike comparable studies, our focus is on temperature reconstruction and experimental results demonstrate that ThermoNeRF achieves an average mean absolute error of 1.13C and 0.41C for temperature estimation in buildings and other scenes, respectively, representing an improvement of over 50% compared to using concatenated RGB+thermal data as input to a standard NeRF. Code and dataset are available online.
• Abstract（参考訳）: 熱環境の再構築は、建築エネルギー消費の分析や非破壊的なインフラ試験の実行など、様々な用途において大きな可能性を秘めている。 しかし、既存の手法は通常、密集したシーン計測を必要とし、しばしばRGB画像に頼って3次元幾何再構成を行い、再建後の熱情報を投影する。 これは、再構成された幾何学と温度データと実際の値との間に矛盾をもたらす可能性がある。 この課題に対処するために,ニューラル・ラジアンス・フィールドをベースとした新しいマルチモーダル・アプローチであるThermoNeRFと,建築ファサードの8つのシーンと日常の8つのシーンからなるRGB+熱画像のデータセットであるThermoScenesを提案する。 熱画像のテクスチャの欠如に対処するため、ThermoNeRFはRGBと熱画像を組み合わせてシーン密度を学習し、異なるネットワークは色と温度データを推定する。 比較研究と異なり, サーモネフリンの平均絶対誤差は1.13C, 0.41Cであり, コンカレントRGB+熱データを用いた場合に比べて50%以上向上した。 コードとデータセットはオンラインで入手できる。

関連論文リスト

• Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis [11.793425521298488]
  本稿では,熱3D-GSという物理誘導型3次元ガウススプラッティング法を提案する。 The first large-scale benchmark dataset for this field called Thermal Infrared Novel-view Synthesis dataset (TI-NSD)。 その結果,本手法はPSNRの3.03dB改善によりベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-12T13:46:53Z)
• ThermalGaussian: Thermal 3D Gaussian Splatting [25.536611434289647]
  本研究では,RGBの高画質画像と熱モダリティのレンダリングが可能な,最初のサーマル3DGS手法であるMaterialGaussianを提案する。 本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-09-11T11:45:57Z)
• ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
  LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。 我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。 提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
  論文  参考訳（メタデータ） (2024-07-22T02:51:29Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions [25.14690752484963]
  ニューラル・ラジアンス・フィールド(NeRF)は、多視点画像からシーンの暗黙的な表現を学習することにより、写真リアリスティックなノベルビュー合成を実現する。 既存のアプローチは、生画像から低照度シーンを再構築するが、暗黒領域におけるテクスチャや境界の詳細の回復に苦慮している。 本研究では,熱的・可視的な原像を入力とし,同時に可視的・熱的視点合成を実現する熱-NeRFを提案する。
  論文  参考訳（メタデータ） (2024-03-21T00:35:31Z)
• Thermal-NeRF: Neural Radiance Fields from an Infrared Camera [29.58060552299745]
  本研究では,IR画像のみからNeRFの形でボリュームシーン表現を推定する最初の方法であるTherial-NeRFを紹介する。 本研究では,既存の方法よりも優れた品質が得られることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-03-15T14:27:15Z)
• Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
  そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。 実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-26T08:10:22Z)
• Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
  本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。 本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。 一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
  論文  参考訳（メタデータ） (2022-10-09T13:50:12Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• A Large-Scale, Time-Synchronized Visible and Thermal Face Dataset [62.193924313292875]
  DEVCOM Army Research Laboratory Visible-Thermal Faceデータセット(ARL-VTF)を発表します。 395人の被験者から50万枚以上の画像が得られたARL-VTFデータセットは、これまでで最大の可視画像とサーマルフェイス画像の収集データだ。 本論文では,ALL-VTFデータセットを用いたサーマルフェースランドマーク検出とサーマル・トゥ・ヴィジブルフェース検証のベンチマーク結果と分析について述べる。
  論文  参考訳（メタデータ） (2021-01-07T17:17:12Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。