論文の概要: ThermalGaussian: Thermal 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2409.07200v1
- Date: Wed, 11 Sep 2024 11:45:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 14:49:40.614583
- Title: ThermalGaussian: Thermal 3D Gaussian Splatting
- Title(参考訳): サーマルガウシアン:3Dガウシアンスプレイティング
- Authors: Rongfeng Lu, Hangyu Chen, Zunjie Zhu, Yuhang Qin, Ming Lu, Le Zhang, Chenggang Yan, Anke Xue,
- Abstract要約: 本研究では,RGBの高画質画像と熱モダリティのレンダリングが可能な,最初のサーマル3DGS手法であるMaterialGaussianを提案する。
本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。
- 参考スコア(独自算出の注目度): 25.536611434289647
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Thermography is especially valuable for the military and other users of surveillance cameras. Some recent methods based on Neural Radiance Fields (NeRF) are proposed to reconstruct the thermal scenes in 3D from a set of thermal and RGB images. However, unlike NeRF, 3D Gaussian splatting (3DGS) prevails due to its rapid training and real-time rendering. In this work, we propose ThermalGaussian, the first thermal 3DGS approach capable of rendering high-quality images in RGB and thermal modalities. We first calibrate the RGB camera and the thermal camera to ensure that both modalities are accurately aligned. Subsequently, we use the registered images to learn the multimodal 3D Gaussians. To prevent the overfitting of any single modality, we introduce several multimodal regularization constraints. We also develop smoothing constraints tailored to the physical characteristics of the thermal modality. Besides, we contribute a real-world dataset named RGBT-Scenes, captured by a hand-hold thermal-infrared camera, facilitating future research on thermal scene reconstruction. We conduct comprehensive experiments to show that ThermalGaussian achieves photorealistic rendering of thermal images and improves the rendering quality of RGB images. With the proposed multimodal regularization constraints, we also reduced the model's storage cost by 90\%. The code and dataset will be released.
- Abstract(参考訳): サーモグラフィーは軍事や監視カメラの利用者にとって特に有用である。
ニューラルラジアンス場(NeRF)に基づく最近の手法により, 熱画像とRGB画像の集合から3次元のサーマルシーンを再構成する手法が提案されている。
しかし、NeRFとは異なり、3Dガウススプラッティング(3DGS)は高速なトレーニングとリアルタイムレンダリングのために一般的である。
本研究では,RGBで高画質画像をレンダリングできる最初の熱3DGS手法であるMaterialGaussianを提案する。
まずRGBカメラとサーマルカメラを校正し、両方のモダリティが正確に一致していることを確認する。
その後、登録画像を用いてマルチモーダルな3Dガウシアンを学習する。
単一モダリティの過度な適合を防止するため、複数の多重モーダル正規化制約を導入する。
また,熱モダリティの物理的特性に合わせたスムースな制約も展開する。
さらに,手持ち熱赤外線カメラで捉えたRGBT-Scenesという実世界のデータセットをコントリビュートし,今後の熱シーンの再構築について研究する。
本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。
提案したマルチモーダル正規化制約により,モデルのストレージコストも90%削減した。
コードとデータセットがリリースされる。
関連論文リスト
- ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。
我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。
提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
論文 参考訳(メタデータ) (2024-07-22T02:51:29Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳(メタデータ) (2024-06-14T17:53:55Z) - RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-30T16:54:59Z) - SwinFuSR: an image fusion-inspired model for RGB-guided thermal image super-resolution [0.16385815610837165]
超高分解能(SR)法は、高周波の詳細が欠如しているため、しばしば熱画像に苦しむ。
SwinFusionにインスパイアされたSwinFuSRは、Swin変換器をベースとしたガイド付きSRアーキテクチャである。
提案手法は,Pak Signal to Noise Ratio (PSNR) とStructure SIMilarity (SSIM) の両面において,少ないパラメータと性能を有する。
論文 参考訳(メタデータ) (2024-04-22T19:01:18Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation [85.15374487533643]
約0.1秒でスパースビュー画像から3Dアセットを復元できる大規模再構成機であるGRMを紹介する。
GRMは、マルチビュー情報を効率的に組み込んだフィードフォワードトランスフォーマーベースのモデルである。
また,既存の多視点拡散モデルと統合することにより,テキスト・ツー・3Dや画像・ツー・3Dといった生成タスクにおけるGRMの可能性を示す。
論文 参考訳(メタデータ) (2024-03-21T17:59:34Z) - ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis [5.66229031510643]
本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。
熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。
また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
論文 参考訳(メタデータ) (2024-03-18T18:10:34Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。
ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。
本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
論文 参考訳(メタデータ) (2023-11-28T21:39:20Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z) - Visible to Thermal image Translation for improving visual task in low
light conditions [0.0]
Parrot Anafi Thermalのドローンを使って、2つの場所から画像を収集した。
我々は2ストリームネットワークを作成し、前処理、拡張、画像データを作成し、ジェネレータと識別器モデルをゼロから訓練した。
その結果, RGB トレーニングデータを GAN を用いて熱データに変換することが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-10-31T05:18:53Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳(メタデータ) (2022-10-09T13:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。