論文の概要: Multi-Spectral Gaussian Splatting with Neural Color Representation
- arxiv url: http://arxiv.org/abs/2506.03407v1
- Date: Tue, 03 Jun 2025 21:36:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.062227
- Title: Multi-Spectral Gaussian Splatting with Neural Color Representation
- Title（参考訳）: ニューラルカラー表現を用いた多スペクトルガウススプラッティング
- Authors: Lukas Meyer, Josef Grün, Maximilian Weiherer, Bernhard Egger, Marc Stamminger, Linus Franke,
- Abstract要約: マルチスペクトル3次元ガウス散乱フレームワークであるMS-Splattingを提案する。
本手法では, クロスモーダルカメラキャリブレーションは不要である。
熱や近赤外線などの様々なスペクトルをモデル化できるほど多用途である。
- 参考スコア（独自算出の注目度）: 8.200719250787651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present MS-Splatting -- a multi-spectral 3D Gaussian Splatting (3DGS) framework that is able to generate multi-view consistent novel views from images of multiple, independent cameras with different spectral domains. In contrast to previous approaches, our method does not require cross-modal camera calibration and is versatile enough to model a variety of different spectra, including thermal and near-infra red, without any algorithmic changes. Unlike existing 3DGS-based frameworks that treat each modality separately (by optimizing per-channel spherical harmonics) and therefore fail to exploit the underlying spectral and spatial correlations, our method leverages a novel neural color representation that encodes multi-spectral information into a learned, compact, per-splat feature embedding. A shallow multi-layer perceptron (MLP) then decodes this embedding to obtain spectral color values, enabling joint learning of all bands within a unified representation. Our experiments show that this simple yet effective strategy is able to improve multi-spectral rendering quality, while also leading to improved per-spectra rendering quality over state-of-the-art methods. We demonstrate the effectiveness of this new technique in agricultural applications to render vegetation indices, such as normalized difference vegetation index (NDVI).
- Abstract（参考訳）: スペクトル領域の異なる複数の独立カメラの画像から、多視点一貫した新しいビューを生成できるマルチスペクトル3Dガウス撮影(3DGS)フレームワークであるMS-Splattingを提案する。
従来の手法とは対照的に、我々の手法はクロスモーダルカメラキャリブレーションを必要とせず、アルゴリズム的な変化を伴わずに、熱や近赤を含む様々なスペクトルをモデル化できる汎用性を備えている。
既存の3DGSベースのフレームワークでは、各モードを別々に扱う(チャネルごとの球面調和を最適化することで)ため、基礎となるスペクトルと空間の相関をうまく利用できないが、本手法では、マルチスペクトル情報を学習されたコンパクトな特徴埋め込みにエンコードする新しいニューラルカラー表現を利用する。
浅い多層パーセプトロン(MLP)は、この埋め込みをデコードしてスペクトル色値を得る。
実験の結果,この簡易かつ効果的な手法は,マルチスペクトルレンダリングの品質を向上させるとともに,最先端手法よりもスペクトル単位のレンダリング品質を向上させることができることがわかった。
我々は,この新手法を農業応用に適用し,正規化差分植生指標(NDVI)などの植生指標を描画する効果を実証した。
関連論文リスト
- CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [75.25966323298003]
スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。
スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。
我々は、$textbfC$amera-$textbfA$gnostic $textbfR$esupervised $textbfL$のモデルである$textbfCARL$を紹介した。
論文 参考訳（メタデータ） (2025-04-27T13:06:40Z) - SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting [11.978842116007563]
Lantent-SpecGSは、各3Dガウス内の普遍的な潜在神経記述子を利用するアプローチである。
2つの並列CNNは、分割された特徴マップを拡散色と特異色に分離してデコーダとして設計されている。
視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
論文 参考訳（メタデータ） (2024-08-23T15:25:08Z) - SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis [3.8834382997684087]
3次元ガウススプラッティングに基づく新しいクロススペクトルレンダリングフレームワーク(3DGS)を提案する。
このフレームワークは、登録されたマルチビュースペクトルとセグメンテーションマップから、現実的で意味のあるスプラットを生成する。
コントリビューションはマルチスペクトルシーン表現、レンダリング、編集における課題に対処し、多様なアプリケーションに新たな可能性を提供します。
論文 参考訳（メタデータ） (2024-08-13T15:32:54Z) - Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。
提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
論文 参考訳（メタデータ） (2024-07-17T04:02:54Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳（メタデータ） (2023-11-13T07:09:30Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。