論文の概要: Towards Integrating Multi-Spectral Imaging with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2509.00989v1
• Date: Sun, 31 Aug 2025 20:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.491302
• Title: Towards Integrating Multi-Spectral Imaging with Gaussian Splatting
• Title（参考訳）: ガウススプラッティングによるマルチスペクトルイメージングの実現に向けて
• Authors: Josef Grün, Lukas Meyer, Maximilian Weiherer, Bernhard Egger, Marc Stamminger, Linus Franke,
• Abstract要約: 色(RGB)とマルチスペクトル画像(マルチスペクトル)を3次元ガウススティングフレームワークに統合する方法について検討する。 球面高調波色成分に直接マルチスペクトルデータを統合して、ガウスの多重スペクトル反射率をコンパクトにモデル化することを提案する。
• 参考スコア（独自算出の注目度）: 8.908394706712395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a study of how to integrate color (RGB) and multi-spectral imagery (red, green, red-edge, and near-infrared) into the 3D Gaussian Splatting (3DGS) framework, a state-of-the-art explicit radiance-field-based method for fast and high-fidelity 3D reconstruction from multi-view images. While 3DGS excels on RGB data, naive per-band optimization of additional spectra yields poor reconstructions due to inconsistently appearing geometry in the spectral domain. This problem is prominent, even though the actual geometry is the same, regardless of spectral modality. To investigate this, we evaluate three strategies: 1) Separate per-band reconstruction with no shared structure. 2) Splitting optimization, in which we first optimize RGB geometry, copy it, and then fit each new band to the model by optimizing both geometry and band representation. 3) Joint, in which the modalities are jointly optimized, optionally with an initial RGB-only phase. We showcase through quantitative metrics and qualitative novel-view renderings on multi-spectral datasets the effectiveness of our dedicated optimized Joint strategy, increasing overall spectral reconstruction as well as enhancing RGB results through spectral cross-talk. We therefore suggest integrating multi-spectral data directly into the spherical harmonics color components to compactly model each Gaussian's multi-spectral reflectance. Moreover, our analysis reveals several key trade-offs in when and how to introduce spectral bands during optimization, offering practical insights for robust multi-modal 3DGS reconstruction.
• Abstract（参考訳）: 我々は,RGBと赤,赤,赤,近赤)を3次元ガウス散乱(3DGS)フレームワークに統合する方法について検討した。 3DGSはRGBデータに優れるが、スペクトル領域に不整合な幾何学が現れるため、追加スペクトルのバンドごとの自然な最適化は低調な再構成をもたらす。 この問題は、スペクトルのモジュラリティに関係なく、実際の幾何学が同じであるにもかかわらず顕著である。 これを調べるために,我々は3つの戦略を評価する。 1)共有構造を持たないバンド単位の個別再構成。 2) RGB 幾何を最適化し,それをコピーし,各バンドをモデルに適合させる分割最適化は,幾何表現と帯域表現の両方を最適化する。 3)ジョイントは、初期RGBのみのフェーズで、モダリティを共同最適化する。 マルチスペクトルデータセット上での定量的な計測と定性的なノベルビューレンダリングを通じて、最適化されたジョイント戦略の有効性を実証し、スペクトル再構成の全体的な増加とスペクトルクロストークによるRGB結果の向上を図った。 したがって、多スペクトルデータを球面調和色成分に直接統合して、ガウスの多スペクトル反射率をコンパクトにモデル化することを提案する。 さらに,本分析では,スペクトル帯域を最適化する際の時間と方法に関するいくつかの重要なトレードオフを明らかにし,ロバストなマルチモーダル3DGS再構成のための実用的な洞察を提供する。

関連論文リスト

• UniGS: Unified Geometry-Aware Gaussian Splatting for Multimodal Rendering [10.560500427919647]
  3D Splatting に基づく統一地図表現と識別可能な属性再構成である UniGS を提案する。 我々のフレームワークは、写真リアルなRGB画像、幾何学的に正確な深度マップ、一貫した表面正規化、セマンティックロジットを同時にレンダリングできるマルチモーダルビューアを統合している。
  論文  参考訳（メタデータ） (2025-10-14T06:07:57Z)
• Multispectral-NeRF:a multispectral modeling approach based on neural radiance fields [3.606065291262699]
  2次元画像に基づく3次元再構成技術は、通常RGBスペクトル情報に依存する。 RGB以外のスペクトルバンドは、ますます3D再構成に組み込まれている。 これらのスペクトルデータを統合する既存の方法は、高価なスキーム価格、低い精度、幾何学的特徴に悩まされることが多い。 我々は、マルチスペクトル情報を効果的に統合できる、NeRFから派生した拡張ニューラルアーキテクチャであるMultispectral-NeRFを提案する。
  論文  参考訳（メタデータ） (2025-09-14T09:04:35Z)
• Multi-Spectral Gaussian Splatting with Neural Color Representation [8.200719250787651]
  マルチスペクトル3次元ガウス散乱フレームワークであるMS-Splattingを提案する。 本手法では, クロスモーダルカメラキャリブレーションは不要である。 熱や近赤外線などの様々なスペクトルをモデル化できるほど多用途である。
  論文  参考訳（メタデータ） (2025-06-03T21:36:50Z)
• Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis [49.67420486373202]
  GRGSは、多彩な照明条件下での高忠実なヒューマン・ノベル・ビュー・シンセサイザーのための一般的な3Dガウスのフレームワークである。 我々は, 精密深度および表面の正常度を予測するために, 合成依存データに基づいて学習した照明対応幾何微細化(LGR)モジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:47Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。