論文の概要: SpecUltra: A Unified Foundation Model for Heterogeneous Spectral Images

• arxiv url: http://arxiv.org/abs/2611.01396v1
• Date: Sun, 01 Nov 2026 01:03:17 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:05:55.743584
• Title: SpecUltra: A Unified Foundation Model for Heterogeneous Spectral Images
• Title（参考訳）: SpecUltra: 不均一なスペクトル画像のための統一基盤モデル
• Abstract要約: 異種スペクトル画像の統一基盤モデルであるSpecUltraを提案する。 具体的には、SpecUltraは相対波長と空間関係を符号化するために3D畳み込みトークン化と波長対応の3D RoPEを使用している。 HSIとMSIのスペクトル粒度ギャップを埋めるために、スペクトルカーネル変換(SKT)を導入する。 HSIおよびMSI分類およびセグメンテーションベンチマークの実験は、最先端または競争性能を示す。
• 参考スコア（独自算出の注目度）: 23.375321238089843
• License:
• Abstract: Spectral imagery, including hyperspectral image (HSI) and multispectral image (MSI), exhibits substantial heterogeneity in band numbers, wavelengths, spectral resolutions, hindering unified modeling and cross-sensor transfer. From the perspective of imaging physics, these heterogeneous observations can be regarded as discrete measurements of an underlying continuous spectrum acquired through different sampling processes. Motivated by this perspective, we propose SpecUltra, a unified foundation model for heterogeneous spectral images. Specifically, SpecUltra employs 3D convolutional tokenization and wavelength-aware 3D RoPE to encode relative wavelength and spatial relationships, enabling fine-grained spatial-spectral modeling within a shared coordinate system. We further construct MultiHyper-200K, a large-scale multi-sensor HSI dataset, and pretrain SpecUltra using auxiliary-token-assisted mask image modeling (MIM), where a level token indicates the radiometric product type and register tokens absorb sensor- and acquisition-dependent variations. To bridge the spectral-granularity gap between HSI and MSI, we introduce Spectral Kernel Transformation (SKT), which transfers pretrained knowledge in parameter space by constructing MSI embedding kernels from fine-grained HSI-pretrained kernel slices. This design preserves pretrained spectral priors while maintaining compatibility with the pretrained backbone. Experiments on HSI and MSI classification and segmentation benchmarks demonstrate state-of-the-art or competitive performance across disparate sensors and downstream tasks.
• Abstract（参考訳）: ハイパースペクトル画像(HSI)やマルチスペクトル画像(MSI)を含むスペクトル画像は、バンド数、波長、スペクトル分解能、統一モデリングの障害、クロスセンサー転送においてかなりの不均一性を示す。 イメージング物理学の観点からは、これらの不均一な観測は、異なるサンプリングプロセスを通して得られた基礎となる連続スペクトルの離散的な測定と見なすことができる。 この観点から、異種スペクトル画像の統一基盤モデルであるSpecUltraを提案する。 具体的には、SpecUltraは3D畳み込みトークン化と波長対応の3D RoPEを使用して相対波長と空間関係を符号化し、共有座標系内の微細な空間スペクトルモデリングを可能にする。 さらに、大規模マルチセンサHSIデータセットであるMultiHyper-200Kを構築し、MIM(Assistant-token-assisted mask image modeling)を用いてSpecUltraを事前訓練する。 HSI と MSI のスペクトル粒度ギャップを埋めるために,パラメータ空間における事前学習知識の伝達を行うスペクトルカーネル変換 (Spectral Kernel Transformation, SKT) を導入する。 この設計は、事前訓練されたバックボーンとの互換性を維持しながら、事前訓練されたスペクトルを保存している。 HSIとMSIの分類とセグメンテーションベンチマークの実験では、異なるセンサーと下流タスク間の最先端または競合性能が示されている。

関連論文リスト

• Phy-CoSF: Physics-Guided Continuous Spectral Fields Reconstruction and Super-Resolution for Snapshot Compressive Imaging [79.35520607451187]
  暗黙のニューラル表現で深層展開ネットワークを相乗化するPhy-CoSFを提案する。 具体的には、連続的なスペクトルレンダリングで離散波長トレーニングをブリッジする2相アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-05-13T14:17:02Z)
• Omni-Fusion of Spatial and Spectral for Hyperspectral Image Segmentation [12.489566085513689]
  Omni-Fuse という名前の超スペクトル画像分割のための新しい空間-スペクトル-Omni-fusion ネットワークを提案する。 提案手法は,DSCの5.73パーセント以上の改善により,最先端手法と比較してセグメント化性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2025-07-09T07:25:18Z)
• CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [69.02751635551724]
  スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。 スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。 本稿では,RGB,マルチスペクトル,ハイパースペクトル画像を用いたカメラ非依存表現学習モデルCARLを紹介する。
  論文  参考訳（メタデータ） (2025-04-27T13:06:40Z)
• Hyperspectral Image Segmentation based on Graph Processing over Multilayer Networks [51.15952040322895]
  ハイパースペクトル画像(HSI)処理の1つの重要な課題は、スペクトル空間的特徴の抽出である。 M-GSP特徴抽出に基づくHSIセグメンテーションへのいくつかのアプローチを提案する。 HSI処理とスペクトル空間情報抽出におけるM-GSPの強度を実験的に検証した。
  論文  参考訳（メタデータ） (2021-11-29T23:28:18Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。