論文の概要: ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2403.12154v2
• Date: Fri, 29 Nov 2024 14:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:16:32.176330
• Title: ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields
• Title（参考訳）: ThermoNeRF:マルチモーダル・ニューラル・ラディアンス・フィールドを用いた建築ファサードのための共同RGBとサーモノビュー合成
• Authors: Mariam Hassan, Florent Forest, Olga Fink, Malcolm Mielle,
• Abstract要約: 熱環境の再構築は、建築エネルギー消費の分析や非破壊的なインフラ試験の実行など、様々な用途において大きな可能性を秘めている。 既存の手法は通常、密集したシーン計測を必要とし、しばしばRGBの画像を3次元の幾何学的再構成に頼り、再建後の熱情報を投影する。 本研究では,新しいRGBとシーンの熱像を共同で描画するニューラルラジアンス場に基づく新しいアプローチであるThermoNeRFと,建築ファサードの8つのシーンと日常の8つのシーンからなる2つのRGB+熱画像のデータセットであるThermoScenesを提案する。
• 参考スコア（独自算出の注目度）: 5.66229031510643
• License:
• Abstract: Thermal scene reconstruction holds great potential for various applications, such as analyzing building energy consumption and performing non-destructive infrastructure testing. However, existing methods typically require dense scene measurements and often rely on RGB images for 3D geometry reconstruction, projecting thermal information post-reconstruction. This can lead to inconsistencies between the reconstructed geometry and temperature data and their actual values. To address this challenge, we propose ThermoNeRF, a novel multimodal approach based on Neural Radiance Fields that jointly renders new RGB and thermal views of a scene, and ThermoScenes, a dataset of paired RGB+thermal images comprising 8 scenes of building facades and 8 scenes of everyday objects. To address the lack of texture in thermal images, ThermoNeRF uses paired RGB and thermal images to learn scene density, while separate networks estimate color and temperature data. Unlike comparable studies, our focus is on temperature reconstruction and experimental results demonstrate that ThermoNeRF achieves an average mean absolute error of 1.13C and 0.41C for temperature estimation in buildings and other scenes, respectively, representing an improvement of over 50% compared to using concatenated RGB+thermal data as input to a standard NeRF. Code and dataset are available online.
• Abstract（参考訳）: 熱環境の再構築は、建築エネルギー消費の分析や非破壊的なインフラ試験の実行など、様々な用途において大きな可能性を秘めている。 しかし、既存の手法は通常、密集したシーン計測を必要とし、しばしばRGB画像に頼って3次元幾何再構成を行い、再建後の熱情報を投影する。 これは、再構成された幾何学と温度データと実際の値との間に矛盾をもたらす可能性がある。 この課題に対処するために,ニューラル・ラジアンス・フィールドをベースとした新しいマルチモーダル・アプローチであるThermoNeRFと,建築ファサードの8つのシーンと日常の8つのシーンからなるRGB+熱画像のデータセットであるThermoScenesを提案する。 熱画像のテクスチャの欠如に対処するため、ThermoNeRFはRGBと熱画像を組み合わせてシーン密度を学習し、異なるネットワークは色と温度データを推定する。 比較研究と異なり, サーモネフリンの平均絶対誤差は1.13C, 0.41Cであり, コンカレントRGB+熱データを用いた場合に比べて50%以上向上した。 コードとデータセットはオンラインで入手できる。

関連論文リスト

• Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis [11.793425521298488]
  本稿では,熱3D-GSという物理誘導型3次元ガウススプラッティング法を提案する。 The first large-scale benchmark dataset for this field called Thermal Infrared Novel-view Synthesis dataset (TI-NSD)。 その結果,本手法はPSNRの3.03dB改善によりベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-12T13:46:53Z)
• ThermalGaussian: Thermal 3D Gaussian Splatting [25.536611434289647]
  本研究では,RGBの高画質画像と熱モダリティのレンダリングが可能な,最初のサーマル3DGS手法であるMaterialGaussianを提案する。 本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-09-11T11:45:57Z)
• ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
  LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。 我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。 提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
  論文  参考訳（メタデータ） (2024-07-22T02:51:29Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• Visible to Thermal image Translation for improving visual task in low light conditions [0.0]
  Parrot Anafi Thermalのドローンを使って、2つの場所から画像を収集した。 我々は2ストリームネットワークを作成し、前処理、拡張、画像データを作成し、ジェネレータと識別器モデルをゼロから訓練した。 その結果, RGB トレーニングデータを GAN を用いて熱データに変換することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-31T05:18:53Z)
• Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
  本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。 本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。 一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
  論文  参考訳（メタデータ） (2022-10-09T13:50:12Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• A Large-Scale, Time-Synchronized Visible and Thermal Face Dataset [62.193924313292875]
  DEVCOM Army Research Laboratory Visible-Thermal Faceデータセット(ARL-VTF)を発表します。 395人の被験者から50万枚以上の画像が得られたARL-VTFデータセットは、これまでで最大の可視画像とサーマルフェイス画像の収集データだ。 本論文では,ALL-VTFデータセットを用いたサーマルフェースランドマーク検出とサーマル・トゥ・ヴィジブルフェース検証のベンチマーク結果と分析について述べる。
  論文  参考訳（メタデータ） (2021-01-07T17:17:12Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)
• Exploring Thermal Images for Object Detection in Underexposure Regions for Autonomous Driving [67.69430435482127]
  アンダーエクスポージャー地域は、安全な自動運転のための周囲の完全な認識を構築するのに不可欠である。 サーマルカメラが利用可能になったことで、他の光学センサーが解釈可能な信号を捉えていない地域を探索するための重要な代替手段となった。 本研究は,可視光画像から熱画像へ学習を伝達するためのスタイル伝達手法を用いたドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-01T09:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。