論文の概要: Unpaired RGB-Thermal Gaussian-Splatting Using Visual Geometric Transformers

• arxiv url: http://arxiv.org/abs/2606.05491v1
• Date: Wed, 03 Jun 2026 22:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.429446
• Title: Unpaired RGB-Thermal Gaussian-Splatting Using Visual Geometric Transformers
• Title（参考訳）: ビジュアル幾何変換器を用いたRGB熱水ガウス平滑化
• Authors: Jean Cordonnier, Chenghao Xu, Olga Fink, Malcolm Mielle,
• Abstract要約: RGBと熱画像を組み合わせたマルチモーダルノベルビュー合成(NVS)により、視覚的・熱的情報による正確な3次元シーン再構成が可能となる。 本稿では,3DフィードフォワードトランスアーキテクチャであるVGGTを利用した不対向RGB熱的NVSのためのフレームワークを提案する。 提案手法は,RGB忠実度を維持しつつ,熱ビュー合成における競争性能を向上することを示す。
• 参考スコア（独自算出の注目度）: 21.564312545454925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal novel view synthesis (NVS) combining RGB and thermal imagery enables precise 3D scene reconstruction with visual and thermal information. However, existing methods typically rely on precisely calibrated RGB-thermal image pairs or stereo setups, limiting scalability and practical deployment. To address this, we introduce a framework for unpaired RGB-thermal NVS that leverages VGGT, a 3D feed-forward transformer architecture, to independently estimate camera poses for each modality. The pose sets are then aligned using the Procrustes algorithm with a cross-modal feature matcher, enabling joint registration without paired calibration. Building on this alignment, we further propose a multi-modal 3D Gaussian Splatting approach that learns directly from unpaired RGB and thermal images. Experiments on diverse scenes demonstrate that our method achieves competitive performance in thermal view synthesis while maintaining RGB fidelity. Moreover, we show that existing reconstruction approaches can produce modality-specific reconstructions that lack cross-modal consistency. We thus introduce a benchmarking framework to rigorously evaluate both per-modality image synthesis and the multi-modal coherence of reconstructed scenes.
• Abstract（参考訳）: RGBと熱画像を組み合わせたマルチモーダルノベルビュー合成(NVS)により、視覚的・熱的情報による正確な3次元シーン再構成が可能となる。 しかし、既存の手法は通常、正確に調整されたRGB熱画像対やステレオ設定に依存しており、スケーラビリティと実用的な展開を制限している。 そこで本研究では,3DフィードフォワードトランスフォーマーアーキテクチャであるVGGTを利用して,カメラのポーズを各モードで独立に推定する,未ペアリングRGB熱的NVSのためのフレームワークを提案する。 ポーズセットは、Procrustesアルゴリズムとクロスモーダルな特徴マッチングで整列され、ペアキャリブレーションなしで共同登録が可能である。 このアライメントに基づいて、未ペアリングRGBおよび熱画像から直接学習するマルチモーダルな3次元ガウススプラッティング手法を提案する。 多様な場面における実験により,RGBの忠実度を維持しつつ,熱ビュー合成における競合性能を実証した。 さらに, 既存の再構成手法は, 相互整合性に欠けるモダリティ特異的な再構成を実現できることを示す。 そこで我々は,モダリティごとの画像合成と再構成シーンのマルチモーダルコヒーレンスの両方を厳格に評価するベンチマークフレームワークを提案する。

関連論文リスト

• SEAR: Simple and Efficient Adaptation of Visual Geometric Transformers for RGB+Thermal 3D Reconstruction [28.61594700250136]
  本稿では,事前学習した幾何学変換器をマルチモーダルRGB-T入力に適応させる戦略であるSEARを提案する。 提案手法は,3次元再構成とカメラポーズ推定において,最先端の手法よりも優れていた。 大規模なアブレーション研究を通じてアーキテクチャを検証し、モデルが両方のモダリティをどのように整合させるかを示す。
  論文  参考訳（メタデータ） (2026-03-19T11:27:21Z)
• ThermoSplat: Cross-Modal 3D Gaussian Splatting with Feature Modulation and Geometry Decoupling [11.169420448510095]
  ThermoSplatは、アクティブな特徴変調と適応幾何学的デカップリングにより、スペクトル認識の深い再構成を可能にする新しいフレームワークである。 RGBT-Scenesデータセットの実験により、ThermoSplatは可視スペクトルと熱スペクトルの両方にわたって最先端のレンダリング品質を達成することが示された。
  論文  参考訳（メタデータ） (2026-01-22T12:24:26Z)
• Towards Integrating Multi-Spectral Imaging with Gaussian Splatting [8.908394706712395]
  色(RGB)とマルチスペクトル画像(マルチスペクトル)を3次元ガウススティングフレームワークに統合する方法について検討する。 球面高調波色成分に直接マルチスペクトルデータを統合して、ガウスの多重スペクトル反射率をコンパクトにモデル化することを提案する。
  論文  参考訳（メタデータ） (2025-08-31T20:53:35Z)
• G-CUT3R: Guided 3D Reconstruction with Camera and Depth Prior Integration [57.67450930037339]
  G-CUT3Rは,ガイド付き3次元シーン再構成のための新しいフィードフォワード手法である。 入力画像のみに依存する既存のフィードフォワード法とは異なり,本手法では奥行き,カメラキャリブレーション,カメラ位置などの補助的データを活用する。
  論文  参考訳（メタデータ） (2025-08-15T10:25:58Z)
• RGB-Phase Speckle: Cross-Scene Stereo 3D Reconstruction via Wrapped Pre-Normalization [9.20903035677888]
  本研究では,アクティブステレオカメラシステムに基づく3D再構成フレームワークであるRGB-Speckleを紹介する。 外部干渉を緩和する新しい位相前正規化符号化法を提案する。 実験の結果,提案したRGB-Speckleモデルでは,クロスドメインおよびクロスシーン3次元再構成作業において大きな利点があることがわかった。
  論文  参考訳（メタデータ） (2025-03-08T08:37:20Z)
• Breaking Modality Disparity: Harmonized Representation for Infrared and Visible Image Registration [66.33746403815283]
  シーン適応型赤外線と可視画像の登録を提案する。 我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。 我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T06:49:56Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。