論文の概要: SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis
- arxiv url: http://arxiv.org/abs/2408.06975v1
- Date: Tue, 13 Aug 2024 15:32:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 17:06:48.910797
- Title: SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis
- Title（参考訳）: スペクトルガウス:多スペクトルシーン表現・可視化・解析のためのセマンティック・スペクトル3次元ガウススプラッティング
- Authors: Saptarshi Neil Sinha, Holger Graf, Michael Weinmann,
- Abstract要約: 3次元ガウススプラッティングに基づく新しいクロススペクトルレンダリングフレームワーク(3DGS)を提案する。
このフレームワークは、登録されたマルチビュースペクトルとセグメンテーションマップから、現実的で意味のあるスプラットを生成する。
コントリビューションはマルチスペクトルシーン表現、レンダリング、編集における課題に対処し、多様なアプリケーションに新たな可能性を提供します。
- 参考スコア（独自算出の注目度）: 3.8834382997684087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel cross-spectral rendering framework based on 3D Gaussian Splatting (3DGS) that generates realistic and semantically meaningful splats from registered multi-view spectrum and segmentation maps. This extension enhances the representation of scenes with multiple spectra, providing insights into the underlying materials and segmentation. We introduce an improved physically-based rendering approach for Gaussian splats, estimating reflectance and lights per spectra, thereby enhancing accuracy and realism. In a comprehensive quantitative and qualitative evaluation, we demonstrate the superior performance of our approach with respect to other recent learning-based spectral scene representation approaches (i.e., XNeRF and SpectralNeRF) as well as other non-spectral state-of-the-art learning-based approaches. Our work also demonstrates the potential of spectral scene understanding for precise scene editing techniques like style transfer, inpainting, and removal. Thereby, our contributions address challenges in multi-spectral scene representation, rendering, and editing, offering new possibilities for diverse applications.
- Abstract（参考訳）: 登録されたマルチビュースペクトルとセグメンテーションマップから現実的で意味のあるスプラットを生成する3Dガウススプラッティング(3DGS)に基づく新しいクロススペクトルレンダリングフレームワークを提案する。
この拡張は、複数のスペクトルを持つシーンの表現を強化し、基礎となる材料とセグメンテーションに関する洞察を提供する。
本稿では,ガウススプレートの物理的レンダリング手法を改良し,スペクトル毎の反射率と照度を推定し,精度とリアリズムを向上する。
包括的定量的・質的評価では、近年の学習に基づくスペクトルシーン表現アプローチ(XNeRFとSpectralNeRF)や、その他の非スペクトル学習に基づくアプローチと比較して、我々のアプローチの優れた性能を示す。
また,本研究は,スタイル伝達やインペイント,除去といった正確なシーン編集技術に対するスペクトルシーン理解の可能性も示している。
これにより、マルチスペクトルシーン表現、レンダリング、編集における課題に対処し、多様なアプリケーションに新たな可能性を提供します。
関連論文リスト
- WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-31T13:48:54Z) - SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness
for Hyperspectral Object Tracking [21.664141982246598]
ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。
既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。
本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-09T09:37:13Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳（メタデータ） (2023-11-13T07:09:30Z) - Spectral Analysis Network for Deep Representation Learning and Image
Clustering [53.415803942270685]
本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。
パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。
クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
論文 参考訳（メタデータ） (2020-09-11T05:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。