論文の概要: Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis
- arxiv url: http://arxiv.org/abs/2409.08042v1
- Date: Thu, 12 Sep 2024 13:46:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 16:29:19.300740
- Title: Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis
- Title（参考訳）: サーマル3D-GS: 熱赤外新規合成のための物理誘起3Dガウシアン
- Authors: Qian Chen, Shihao Shu, Xiangzhi Bai,
- Abstract要約: 本稿では,熱3D-GSという物理誘導型3次元ガウススプラッティング法を提案する。
The first large-scale benchmark dataset for this field called Thermal Infrared Novel-view Synthesis dataset (TI-NSD)。
その結果,本手法はPSNRの3.03dB改善によりベースライン法よりも優れていた。
- 参考スコア（独自算出の注目度）: 11.793425521298488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel-view synthesis based on visible light has been extensively studied. In comparison to visible light imaging, thermal infrared imaging offers the advantage of all-weather imaging and strong penetration, providing increased possibilities for reconstruction in nighttime and adverse weather scenarios. However, thermal infrared imaging is influenced by physical characteristics such as atmospheric transmission effects and thermal conduction, hindering the precise reconstruction of intricate details in thermal infrared scenes, manifesting as issues of floaters and indistinct edge features in synthesized images. To address these limitations, this paper introduces a physics-induced 3D Gaussian splatting method named Thermal3D-GS. Thermal3D-GS begins by modeling atmospheric transmission effects and thermal conduction in three-dimensional media using neural networks. Additionally, a temperature consistency constraint is incorporated into the optimization objective to enhance the reconstruction accuracy of thermal infrared images. Furthermore, to validate the effectiveness of our method, the first large-scale benchmark dataset for this field named Thermal Infrared Novel-view Synthesis Dataset (TI-NSD) is created. This dataset comprises 20 authentic thermal infrared video scenes, covering indoor, outdoor, and UAV(Unmanned Aerial Vehicle) scenarios, totaling 6,664 frames of thermal infrared image data. Based on this dataset, this paper experimentally verifies the effectiveness of Thermal3D-GS. The results indicate that our method outperforms the baseline method with a 3.03 dB improvement in PSNR and significantly addresses the issues of floaters and indistinct edge features present in the baseline method. Our dataset and codebase will be released in \href{https://github.com/mzzcdf/Thermal3DGS}{\textcolor{red}{Thermal3DGS}}.
- Abstract（参考訳）: 可視光に基づく新しいビュー合成が広く研究されている。
可視光画像と比べ、熱赤外画像は全天候撮影と強い侵入の利点を提供し、夜間や悪天候のシナリオにおける再構築の可能性を高める。
しかし、熱赤外画像は、大気透過効果や熱伝導などの物理的特性の影響を受け、熱赤外シーンにおける複雑な詳細の正確な再構築を妨げ、合成画像におけるフローターの問題や不明瞭なエッジの特徴として現れている。
これらの制約に対処するため,本論文では,Material 3D-GSという物理誘導型3次元ガウススプラッティング法を提案する。
熱3D-GSは、ニューラルネットワークを用いて3次元媒体の大気透過効果と熱伝導をモデル化することから始まる。
また、熱赤外画像の再構成精度を高めるため、最適化目的に温度一貫性制約を組み込む。
さらに,本手法の有効性を検証するため,熱赤外ノベルビュー合成データセット (TI-NSD) を作成した。
このデータセットは、屋内、屋外、UAV(Unmanned Aerial Vehicle)のシナリオをカバーし、合計6,664フレームの熱赤外画像データからなる。
本論文は,本データセットに基づいて,サーマル3D-GSの有効性を実験的に検証する。
その結果,本手法はPSNRが3.03dB向上したベースライン法よりも優れており,フローターの問題や,ベースライン法に現れる不明瞭なエッジの特徴に大きく対処していることがわかった。
我々のデータセットとコードベースは \href{https://github.com/mzzcdf/Thermal3DGS}{\textcolor{red}{Thermal3DGS}} でリリースされます。
関連論文リスト
- TeX-NeRF: Neural Radiance Fields from Pseudo-TeX Vision [5.77388464529179]
赤外線画像のみを用いた3次元再構成法Ne-RFを提案する。
我々は、シーンの温度、放射性(e)、テクスチャ(X)を彩度(S)、色空間の色調(H)、値(V)チャネルにマッピングする。
処理した画像を用いた新しいビュー合成は優れた結果を得た。
論文 参考訳（メタデータ） (2024-10-07T09:43:28Z) - UV-free Texture Generation with Denoising and Geodesic Heat Diffusions [50.55154348768031]
メッシュの標準的なUVベースの処理機構の最も顕著な課題は、シーム、無駄なUV空間、および表面上の様々な解像度である。
本稿では,3次元メッシュの表面上での操作に制約された拡散モデルを用いて,テクスチャを色分けした点雲色として表現することを提案する。
論文 参考訳（メタデータ） (2024-08-29T17:57:05Z) - CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
スパース入力によるNeRFの性能向上のための新しい手法を提案する。
まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。
次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
論文 参考訳（メタデータ） (2024-03-25T15:56:17Z) - ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis [5.66229031510643]
本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。
熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。
また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
論文 参考訳（メタデータ） (2024-03-18T18:10:34Z) - Thermal-NeRF: Neural Radiance Fields from an Infrared Camera [29.58060552299745]
本研究では,IR画像のみからNeRFの形でボリュームシーン表現を推定する最初の方法であるTherial-NeRFを紹介する。
本研究では,既存の方法よりも優れた品質が得られることを示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-03-15T14:27:15Z) - Photometric Correction for Infrared Sensors [1.170732359523702]
本稿では,温度安定度に基づく赤外線センサの光度補正モデルを提案する。
実験の結果,補正した赤外線画像の再現性は,RGBセンサを用いた最先端の再現性に匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-04-08T06:32:57Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳（メタデータ） (2022-10-09T13:50:12Z) - Maximizing Self-supervision from Thermal Image for Effective
Self-supervised Learning of Depth and Ego-motion [78.19156040783061]
熱画像からの深度とエゴモーションの自己教師付き学習は、困難なシナリオ下で強い堅牢性と信頼性を示す。
弱いコントラスト、ぼやけたエッジ、ノイズなどの固有の熱画像特性は、熱画像から効果的な自己スーパービジョンを生成するために障害となる。
本研究では,時間的一貫性を維持しつつ,全体構造,コントラスト,詳細などの画像情報を大幅に向上させる有効熱画像マッピング手法を提案する。
論文 参考訳（メタデータ） (2022-01-12T09:49:24Z) - Thermal Image Super-Resolution Using Second-Order Channel Attention with
Varying Receptive Fields [4.991042925292453]
熱画像の効率よく再構成するシステムを提案する。
熱画像の復元は、安全、捜索、救助、軍事活動を含む用途に不可欠である。
論文 参考訳（メタデータ） (2021-07-30T22:17:51Z) - A Large-Scale, Time-Synchronized Visible and Thermal Face Dataset [62.193924313292875]
DEVCOM Army Research Laboratory Visible-Thermal Faceデータセット(ARL-VTF)を発表します。
395人の被験者から50万枚以上の画像が得られたARL-VTFデータセットは、これまでで最大の可視画像とサーマルフェイス画像の収集データだ。
本論文では,ALL-VTFデータセットを用いたサーマルフェースランドマーク検出とサーマル・トゥ・ヴィジブルフェース検証のベンチマーク結果と分析について述べる。
論文 参考訳（メタデータ） (2021-01-07T17:17:12Z) - Exploring Thermal Images for Object Detection in Underexposure Regions
for Autonomous Driving [67.69430435482127]
アンダーエクスポージャー地域は、安全な自動運転のための周囲の完全な認識を構築するのに不可欠である。
サーマルカメラが利用可能になったことで、他の光学センサーが解釈可能な信号を捉えていない地域を探索するための重要な代替手段となった。
本研究は,可視光画像から熱画像へ学習を伝達するためのスタイル伝達手法を用いたドメイン適応フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-01T09:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。