Fugu-MT 論文翻訳(概要): ThermalGaussian: Thermal 3D Gaussian Splatting

論文の概要: ThermalGaussian: Thermal 3D Gaussian Splatting

arxiv url: http://arxiv.org/abs/2409.07200v1
Date: Wed, 11 Sep 2024 11:45:57 GMT
ステータス: 処理完了
システム内更新日: 2024-09-12 14:49:40.614583
Title: ThermalGaussian: Thermal 3D Gaussian Splatting
Title（参考訳）: サーマルガウシアン:3Dガウシアンスプレイティング
Authors: Rongfeng Lu, Hangyu Chen, Zunjie Zhu, Yuhang Qin, Ming Lu, Le Zhang, Chenggang Yan, Anke Xue,
Abstract要約: 本研究では,RGBの高画質画像と熱モダリティのレンダリングが可能な,最初のサーマル3DGS手法であるMaterialGaussianを提案する。本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。
参考スコア（独自算出の注目度）: 25.536611434289647
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Thermography is especially valuable for the military and other users of surveillance cameras. Some recent methods based on Neural Radiance Fields (NeRF) are proposed to reconstruct the thermal scenes in 3D from a set of thermal and RGB images. However, unlike NeRF, 3D Gaussian splatting (3DGS) prevails due to its rapid training and real-time rendering. In this work, we propose ThermalGaussian, the first thermal 3DGS approach capable of rendering high-quality images in RGB and thermal modalities. We first calibrate the RGB camera and the thermal camera to ensure that both modalities are accurately aligned. Subsequently, we use the registered images to learn the multimodal 3D Gaussians. To prevent the overfitting of any single modality, we introduce several multimodal regularization constraints. We also develop smoothing constraints tailored to the physical characteristics of the thermal modality. Besides, we contribute a real-world dataset named RGBT-Scenes, captured by a hand-hold thermal-infrared camera, facilitating future research on thermal scene reconstruction. We conduct comprehensive experiments to show that ThermalGaussian achieves photorealistic rendering of thermal images and improves the rendering quality of RGB images. With the proposed multimodal regularization constraints, we also reduced the model's storage cost by 90\%. The code and dataset will be released.
Abstract（参考訳）: サーモグラフィーは軍事や監視カメラの利用者にとって特に有用である。ニューラルラジアンス場(NeRF)に基づく最近の手法により, 熱画像とRGB画像の集合から3次元のサーマルシーンを再構成する手法が提案されている。しかし、NeRFとは異なり、3Dガウススプラッティング(3DGS)は高速なトレーニングとリアルタイムレンダリングのために一般的である。本研究では,RGBで高画質画像をレンダリングできる最初の熱3DGS手法であるMaterialGaussianを提案する。まずRGBカメラとサーマルカメラを校正し、両方のモダリティが正確に一致していることを確認する。その後、登録画像を用いてマルチモーダルな3Dガウシアンを学習する。単一モダリティの過度な適合を防止するため、複数の多重モーダル正規化制約を導入する。また,熱モダリティの物理的特性に合わせたスムースな制約も展開する。さらに,手持ち熱赤外線カメラで捉えたRGBT-Scenesという実世界のデータセットをコントリビュートし,今後の熱シーンの再構築について研究する。本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。提案したマルチモーダル正規化制約により,モデルのストレージコストも90%削減した。コードとデータセットがリリースされる。

関連論文リスト

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文参考訳（メタデータ） (2024-11-22T14:31:39Z)
MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
本稿では,4DGSのためのメモリ効率フレームワークを提案する。 TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
論文参考訳（メタデータ） (2024-10-17T14:47:08Z)
Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis [11.793425521298488]
本稿では,熱3D-GSという物理誘導型3次元ガウススプラッティング法を提案する。 The first large-scale benchmark dataset for this field called Thermal Infrared Novel-view Synthesis dataset (TI-NSD)。その結果,本手法はPSNRの3.03dB改善によりベースライン法よりも優れていた。
論文参考訳（メタデータ） (2024-09-12T13:46:53Z)
ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
論文参考訳（メタデータ） (2024-07-22T02:51:29Z)
PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文参考訳（メタデータ） (2024-06-14T17:53:55Z)
RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文参考訳（メタデータ） (2024-04-30T16:54:59Z)
SwinFuSR: an image fusion-inspired model for RGB-guided thermal image super-resolution [0.16385815610837165]
超高分解能(SR)法は、高周波の詳細が欠如しているため、しばしば熱画像に苦しむ。 SwinFusionにインスパイアされたSwinFuSRは、Swin変換器をベースとしたガイド付きSRアーキテクチャである。提案手法は,Pak Signal to Noise Ratio (PSNR) とStructure SIMilarity (SSIM) の両面において,少ないパラメータと性能を有する。
論文参考訳（メタデータ） (2024-04-22T19:01:18Z)
ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis [5.66229031510643]
本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
論文参考訳（メタデータ） (2024-03-18T18:10:34Z)
Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文参考訳（メタデータ） (2024-02-24T17:22:15Z)
LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。 LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
論文参考訳（メタデータ） (2023-11-28T21:39:20Z)
Visible to Thermal image Translation for improving visual task in low light conditions [0.0]
Parrot Anafi Thermalのドローンを使って、2つの場所から画像を収集した。我々は2ストリームネットワークを作成し、前処理、拡張、画像データを作成し、ジェネレータと識別器モデルをゼロから訓練した。その結果, RGB トレーニングデータを GAN を用いて熱データに変換することが可能であることが示唆された。
論文参考訳（メタデータ） (2023-10-31T05:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。