論文の概要: MrGS: Multi-modal Radiance Fields with 3D Gaussian Splatting for RGB-Thermal Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2511.22997v1
- Date: Fri, 28 Nov 2025 09:01:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-01 19:47:55.83374
- Title: MrGS: Multi-modal Radiance Fields with 3D Gaussian Splatting for RGB-Thermal Novel View Synthesis
- Title（参考訳）: MGS:RGB-サーマルノベルビュー合成のための3次元ガウススプラッティングを用いたマルチモーダル放射場
- Authors: Minseong Kweon, Janghyun Kim, Ukcheol Shin, Jinsun Park,
- Abstract要約: 我々は,RGBと熱3Dの両方のシーンを同時に再構成する3DGSに基づくマルチモーダル放射場であるMrGSを紹介する。
熱領域現象を効果的にモデル化するために、2つの物理原理を利用する。
- 参考スコア（独自算出の注目度）: 10.127749951026457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Neural Radiance Fields (NeRFs) and 3D Gaussian Splatting (3DGS) have achieved considerable performance in RGB scene reconstruction. However, multi-modal rendering that incorporates thermal infrared imagery remains largely underexplored. Existing approaches tend to neglect distinctive thermal characteristics, such as heat conduction and the Lambertian property. In this study, we introduce MrGS, a multi-modal radiance field based on 3DGS that simultaneously reconstructs both RGB and thermal 3D scenes. Specifically, MrGS derives RGB- and thermal-related information from a single appearance feature through orthogonal feature extraction and employs view-dependent or view-independent embedding strategies depending on the degree of Lambertian reflectance exhibited by each modality. Furthermore, we leverage two physics-based principles to effectively model thermal-domain phenomena. First, we integrate Fourier's law of heat conduction prior to alpha blending to model intensity interpolation caused by thermal conduction between neighboring Gaussians. Second, we apply the Stefan-Boltzmann law and the inverse-square law to formulate a depth-aware thermal radiation map that imposes additional geometric constraints on thermal rendering. Experimental results demonstrate that the proposed MrGS achieves high-fidelity RGB-T scene reconstruction while reducing the number of Gaussians.
- Abstract（参考訳）: ニューラルレージアン場(NeRF)と3次元ガウススプラッティング(3DGS)の最近の進歩は、RGBシーンの再構築において大きな成果を上げている。
しかし、熱赤外画像を含むマルチモーダルレンダリングはほとんど探索されていない。
既存のアプローチでは、熱伝導やランベルトの性質のような独特の熱特性を無視する傾向にある。
本研究では,RGBとサーマル3Dの両方のシーンを同時に再構成する3DGSに基づくマルチモーダル放射場であるMrGSを紹介する。
特に、MrGSは、直交的特徴抽出を通じて、単一外観特徴からRGBおよび熱関連情報を導き、各モードで示されるランベルト反射度に応じて、ビュー依存またはビュー非依存の埋め込み戦略を採用する。
さらに、熱領域現象を効果的にモデル化するために、2つの物理原理を利用する。
まず、アルファブレンディング前のフーリエの熱伝導の法則を統合し、隣接するガウシアン間の熱伝導による強度補間をモデル化する。
次に、ステファン・ボルツマン法則と逆二乗法則を適用し、熱レンダリングにさらなる幾何学的制約を課す深度対応熱放射マップを定式化する。
実験結果から,提案したMrGSは高忠実度RGB-Tシーンの再現を実現し,ガウスの数を減らした。
関連論文リスト
- MaterialRefGS: Reflective Gaussian Splatting with Multi-view Consistent Material Inference [83.38607296779423]
より物理的な環境モデルを用いた多視点一貫した物質推定がガウススプラッティングによる正確な反射の学習の鍵となることを示す。
本手法は照明と幾何学の両方を忠実に復元し,新しいビュー合成における最先端のレンダリング品質を実現する。
論文 参考訳（メタデータ） (2025-10-13T13:29:20Z) - Veta-GS: View-dependent deformable 3D Gaussian Splatting for thermal infrared Novel-view Synthesis [3.1457219084519004]
熱赤外画像(TIR)に基づく3次元ガウス散乱(3D-GS)は, 新規な視点合成において注目されている。
本稿では、ビュー依存の変形場とサーマル・フィーチャー・エクストラクタを利用して微妙な温度変化を捉えたVeta-GSを紹介する。
本手法は既存手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2025-05-25T13:20:45Z) - GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis [11.793425521298488]
本稿では,熱3D-GSという物理誘導型3次元ガウススプラッティング法を提案する。
The first large-scale benchmark dataset for this field called Thermal Infrared Novel-view Synthesis dataset (TI-NSD)。
その結果,本手法はPSNRの3.03dB改善によりベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-12T13:46:53Z) - ThermalGaussian: Thermal 3D Gaussian Splatting [25.536611434289647]
本研究では,RGBの高画質画像と熱モダリティのレンダリングが可能な,最初のサーマル3DGS手法であるMaterialGaussianを提案する。
本研究では,熱画像のフォトリアリスティックレンダリングを実現し,RGB画像のレンダリング品質を向上させるための総合的な実験を行った。
論文 参考訳（メタデータ） (2024-09-11T11:45:57Z) - ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields [5.66229031510643]
熱環境の再構築は、建築エネルギー消費の分析や非破壊的なインフラ試験の実行など、様々な用途において大きな可能性を秘めている。
既存の手法は通常、密集したシーン計測を必要とし、しばしばRGBの画像を3次元の幾何学的再構成に頼り、再建後の熱情報を投影する。
本研究では,新しいRGBとシーンの熱像を共同で描画するニューラルラジアンス場に基づく新しいアプローチであるThermoNeRFと,建築ファサードの8つのシーンと日常の8つのシーンからなる2つのRGB+熱画像のデータセットであるThermoScenesを提案する。
論文 参考訳（メタデータ） (2024-03-18T18:10:34Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳（メタデータ） (2022-10-09T13:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。