論文の概要: Towards Integrating Multi-Spectral Imaging with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2509.00989v1
• Date: Sun, 31 Aug 2025 20:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.491302
• Title: Towards Integrating Multi-Spectral Imaging with Gaussian Splatting
• Title（参考訳）: ガウススプラッティングによるマルチスペクトルイメージングの実現に向けて
• Authors: Josef Grün, Lukas Meyer, Maximilian Weiherer, Bernhard Egger, Marc Stamminger, Linus Franke,
• Abstract要約: 色(RGB)とマルチスペクトル画像(マルチスペクトル)を3次元ガウススティングフレームワークに統合する方法について検討する。 球面高調波色成分に直接マルチスペクトルデータを統合して、ガウスの多重スペクトル反射率をコンパクトにモデル化することを提案する。
• 参考スコア（独自算出の注目度）: 8.908394706712395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a study of how to integrate color (RGB) and multi-spectral imagery (red, green, red-edge, and near-infrared) into the 3D Gaussian Splatting (3DGS) framework, a state-of-the-art explicit radiance-field-based method for fast and high-fidelity 3D reconstruction from multi-view images. While 3DGS excels on RGB data, naive per-band optimization of additional spectra yields poor reconstructions due to inconsistently appearing geometry in the spectral domain. This problem is prominent, even though the actual geometry is the same, regardless of spectral modality. To investigate this, we evaluate three strategies: 1) Separate per-band reconstruction with no shared structure. 2) Splitting optimization, in which we first optimize RGB geometry, copy it, and then fit each new band to the model by optimizing both geometry and band representation. 3) Joint, in which the modalities are jointly optimized, optionally with an initial RGB-only phase. We showcase through quantitative metrics and qualitative novel-view renderings on multi-spectral datasets the effectiveness of our dedicated optimized Joint strategy, increasing overall spectral reconstruction as well as enhancing RGB results through spectral cross-talk. We therefore suggest integrating multi-spectral data directly into the spherical harmonics color components to compactly model each Gaussian's multi-spectral reflectance. Moreover, our analysis reveals several key trade-offs in when and how to introduce spectral bands during optimization, offering practical insights for robust multi-modal 3DGS reconstruction.
• Abstract（参考訳）: 我々は,RGBと赤,赤,赤,近赤)を3次元ガウス散乱(3DGS)フレームワークに統合する方法について検討した。 3DGSはRGBデータに優れるが、スペクトル領域に不整合な幾何学が現れるため、追加スペクトルのバンドごとの自然な最適化は低調な再構成をもたらす。 この問題は、スペクトルのモジュラリティに関係なく、実際の幾何学が同じであるにもかかわらず顕著である。 これを調べるために,我々は3つの戦略を評価する。 1)共有構造を持たないバンド単位の個別再構成。 2) RGB 幾何を最適化し,それをコピーし,各バンドをモデルに適合させる分割最適化は,幾何表現と帯域表現の両方を最適化する。 3)ジョイントは、初期RGBのみのフェーズで、モダリティを共同最適化する。 マルチスペクトルデータセット上での定量的な計測と定性的なノベルビューレンダリングを通じて、最適化されたジョイント戦略の有効性を実証し、スペクトル再構成の全体的な増加とスペクトルクロストークによるRGB結果の向上を図った。 したがって、多スペクトルデータを球面調和色成分に直接統合して、ガウスの多スペクトル反射率をコンパクトにモデル化することを提案する。 さらに,本分析では,スペクトル帯域を最適化する際の時間と方法に関するいくつかの重要なトレードオフを明らかにし,ロバストなマルチモーダル3DGS再構成のための実用的な洞察を提供する。

関連論文リスト

• Multi-Spectral Gaussian Splatting with Neural Color Representation [8.200719250787651]
  マルチスペクトル3次元ガウス散乱フレームワークであるMS-Splattingを提案する。 本手法では, クロスモーダルカメラキャリブレーションは不要である。 熱や近赤外線などの様々なスペクトルをモデル化できるほど多用途である。
  論文  参考訳（メタデータ） (2025-06-03T21:36:50Z)
• Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis [49.67420486373202]
  GRGSは、多彩な照明条件下での高忠実なヒューマン・ノベル・ビュー・シンセサイザーのための一般的な3Dガウスのフレームワークである。 我々は, 精密深度および表面の正常度を予測するために, 合成依存データに基づいて学習した照明対応幾何微細化(LGR)モジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:47Z)
• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。