論文の概要: Hyperspectral Adapter for Semantic Segmentation with Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2509.20107v2
• Date: Thu, 25 Sep 2025 11:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 14:16:56.124476
• Title: Hyperspectral Adapter for Semantic Segmentation with Vision Foundation Models
• Title（参考訳）: 視覚基礎モデルを用いたセマンティックセグメンテーションのためのハイパースペクトル適応器
• Authors: Juana Valeria Hurtado, Rohit Mohan, Abhinav Valada,
• Abstract要約: ハイパースペクトルイメージング(HSI)は、多数の狭い波長帯にわたる密度のスペクトル測定とともに空間情報をキャプチャする。 本アーキテクチャでは、スペクトル変換器とスペクトル対応空間先行モジュールを組み込んで、豊富な空間スペクトル特徴を抽出する。 我々のアーキテクチャは、HSI入力を直接使用しながら、最先端のセマンティックセマンティックセマンティックセマンティクス性能を実現し、ビジョンベースとハイパースペクトルセマンティクスの両方のセマンティクス法より優れている。
• 参考スコア（独自算出の注目度）: 18.24287471339871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral imaging (HSI) captures spatial information along with dense spectral measurements across numerous narrow wavelength bands. This rich spectral content has the potential to facilitate robust robotic perception, particularly in environments with complex material compositions, varying illumination, or other visually challenging conditions. However, current HSI semantic segmentation methods underperform due to their reliance on architectures and learning frameworks optimized for RGB inputs. In this work, we propose a novel hyperspectral adapter that leverages pretrained vision foundation models to effectively learn from hyperspectral data. Our architecture incorporates a spectral transformer and a spectrum-aware spatial prior module to extract rich spatial-spectral features. Additionally, we introduce a modality-aware interaction block that facilitates effective integration of hyperspectral representations and frozen vision Transformer features through dedicated extraction and injection mechanisms. Extensive evaluations on three benchmark autonomous driving datasets demonstrate that our architecture achieves state-of-the-art semantic segmentation performance while directly using HSI inputs, outperforming both vision-based and hyperspectral segmentation methods. We make the code available at https://hsi-adapter.cs.uni-freiburg.de.
• Abstract（参考訳）: ハイパースペクトルイメージング(HSI)は、多数の狭い波長帯にわたる密度のスペクトル測定とともに空間情報をキャプチャする。 この豊富なスペクトルコンテンツは、特に複雑な材料組成、様々な照明、その他の視覚的に困難な環境において、堅牢なロボット知覚を促進する可能性がある。 しかし、現在のHSIセマンティックセグメンテーション手法は、アーキテクチャやRGB入力に最適化された学習フレームワークに依存しているため、性能が低い。 本研究では、事前学習された視覚基盤モデルを利用して、ハイパースペクトルデータから効果的に学習する新しいハイパースペクトルアダプタを提案する。 本アーキテクチャでは、スペクトル変換器とスペクトル対応空間先行モジュールを組み込んで、豊富な空間スペクトル特徴を抽出する。 さらに,高スペクトル表現と凍結視覚変換器の機能の統合を,専用の抽出・注入機構を通じて効果的に行うためのモダリティ対応インタラクションブロックを導入する。 3つのベンチマーク自律運転データセットの大規模な評価は、我々のアーキテクチャがHSI入力を直接使用しながら最先端のセマンティックセマンティックセマンティックセマンティクス性能を達成し、ビジョンベースとハイパースペクトルセマンティクスの両方よりも優れていることを示している。 コードはhttps://hsi-adapter.cs.uni-freiburg.deで公開しています。

関連論文リスト

• Hyperspectral Mamba for Hyperspectral Object Tracking [56.365517163296936]
  Mamba (HyMamba) を用いた新しいハイパースペクトル物体追跡ネットワークを提案する。 状態空間モジュール(SSM)によるスペクトル、クロスディープス、時間モデリングを統一する。 HyMambaは、7つのベンチマークデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-10T03:47:43Z)
• GCRPNet: Graph-Enhanced Contextual and Regional Perception Network for Salient Object Detection in Optical Remote Sensing Images [68.33481681452675]
  本稿では,GCRPNet(Graph-enhanced contextual and Regional Recognition Network)を提案する。 これはMambaアーキテクチャの上に構築され、長距離依存関係を同時にキャプチャし、地域的特徴表現を強化する。 マルチスケールの畳み込みによって処理される特徴マップに対して適応的なパッチスキャンを行い、リッチなローカル領域情報をキャプチャする。
  論文  参考訳（メタデータ） (2025-08-14T11:31:43Z)
• Towards Scalable Foundation Model for Multi-modal and Hyperspectral Geospatial Data [14.104497777255137]
  本稿では,3つのイノベーションを取り入れた高効率空間スペクトル変換器について紹介する。 位置マスキングとチャネルマスキングを統合したHyperspectral Masked Autoencoderフレームワークを用いたLESS ViTの事前訓練を行った。 実験により, 提案手法は, 最先端のマルチモーダル地空間基盤モデルと競合する性能を示す。
  論文  参考訳（メタデータ） (2025-03-17T05:42:19Z)
• DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification [3.271106943956333]
  超スペクトル画像分類(HSIC)は、高次元データをスペクトル情報と空間情報で分析する可能性から注目されている。 本稿では、スペクトル冗長性や空間不連続性といったHSICの固有の課題に対処するために、差分空間スペクトル変換器(DiffFormer)を提案する。 ベンチマークハイパースペクトルデータセットの実験は、分類精度、計算効率、一般化可能性の観点から、DiffFormerの優位性を示す。
  論文  参考訳（メタデータ） (2024-12-23T07:21:41Z)
• AMBER -- Advanced SegFormer for Multi-Band Image Segmentation: an application to Hyperspectral Imaging [0.0]
  本稿では,マルチバンド画像セグメンテーション用に設計された高度なSegFormerであるAMBERを紹介する。 AMBERは3次元の畳み込み、カスタムカーネルサイズ、Funnelizerレイヤを組み込むことで、オリジナルのSegFormerを強化している。 PRISMA衛星の3つのベンチマークデータセットとデータセットを用いて行った実験により、AMBERは、全体的な精度、Kappa係数、平均精度で従来のCNNベースの手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-14T09:34:05Z)
• SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking [21.664141982246598]
  ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。 既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。 本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:37:13Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)
• Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution [82.1739023587565]
  ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。 提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。 各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
  論文  参考訳（メタデータ） (2020-01-14T03:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。