論文の概要: VP-Hype: A Hybrid Mamba-Transformer Framework with Visual-Textual Prompting for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2603.01174v1
• Date: Sun, 01 Mar 2026 16:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.553369
• Title: VP-Hype: A Hybrid Mamba-Transformer Framework with Visual-Textual Prompting for Hyperspectral Image Classification
• Title（参考訳）: VP-Hype: ハイパースペクトル画像分類のためのビジュアルテキストプロンプトを用いたハイブリッドマンバ変換フレームワーク
• Authors: Abdellah Zakaria Sellam, Fadi Abdeladhim Zidi, Salah Eddine Bekhouche, Ihssen Houhou, Marouane Tliba, Cosimo Distante, Abdenour Hadid,
• Abstract要約: VP-Hypeは、状態空間モデルの線形時間効率と変換器のリレーショナルモデリングを統合することで、HSI分類を再考するフレームワークである。 堅牢な3D-CNNスペクトルフロントエンド上に構築されたVP-Hypeは、従来のアテンションブロックをHybrid Mamba-Transformerバックボーンに置き換える。 トレーニングサンプルの分布は2%に過ぎず、Salinasデータセットで99.69%、Longkouデータセットで99.45%の総合精度(OA)を達成した。
• 参考スコア（独自算出の注目度）: 8.232394238006167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate classification of hyperspectral imagery (HSI) is often frustrated by the tension between high-dimensional spectral data and the extreme scarcity of labeled training samples. While hierarchical models like LoLA-SpecViT have demonstrated the power of local windowed attention and parameter-efficient fine-tuning, the quadratic complexity of standard Transformers remains a barrier to scaling. We introduce VP-Hype, a framework that rethinks HSI classification by unifying the linear-time efficiency of State-Space Models (SSMs) with the relational modeling of Transformers in a novel hybrid architecture. Building on a robust 3D-CNN spectral front-end, VP-Hype replaces conventional attention blocks with a Hybrid Mamba-Transformer backbone to capture long-range dependencies with significantly reduced computational overhead. Furthermore, we address the label-scarcity problem by integrating dual-modal Visual and Textual Prompts that provide context-aware guidance for the feature extraction process. Our experimental evaluation demonstrates that VP-Hype establishes a new state of the art in low-data regimes. Specifically, with a training sample distribution of only 2\%, the model achieves Overall Accuracy (OA) of 99.69\% on the Salinas dataset and 99.45\% on the Longkou dataset. These results suggest that the convergence of hybrid sequence modeling and multi-modal prompting provides a robust path forward for high-performance, sample-efficient remote sensing.
• Abstract（参考訳）: 超スペクトル画像(HSI)の正確な分類は、高次元のスペクトルデータとラベル付きトレーニングサンプルの極端な不足との間の緊張によってしばしばフラストレーションを受ける。 LoLA-SpecViTのような階層モデルは、ローカルウィンドウの注意力とパラメータ効率の良い微調整の力を示しているが、標準トランスフォーマーの二次的な複雑さは、スケーリングの障壁であり続けている。 本稿では,新しいハイブリッドアーキテクチャにおいて,状態空間モデル(SSM)の線形時間効率と変換器のリレーショナルモデリングを統合することで,HSI分類を再考するフレームワークであるVP-Hypeを紹介する。 堅牢な3D-CNNスペクトルフロントエンド上に構築されたVP-Hypeは、従来のアテンションブロックをHybrid Mamba-Transformerバックボーンに置き換えて、計算オーバーヘッドを大幅に削減する。 さらに、特徴抽出プロセスにコンテキスト対応のガイダンスを提供するデュアルモーダルなビジュアル・テキスト・プロンプトを統合することで、ラベル・スカシティの問題に対処する。 実験により,VP-Hypeが低データ体制における新たな最先端の確立を実証した。 具体的には、トレーニングサンプルの分布はわずか2\%であり、Salinasデータセットでは99.69\%、Longkouデータセットでは99.45\%の総合的精度(OA)を達成する。 これらの結果から,ハイブリッド・シーケンス・モデリングとマルチモーダル・プロンプトの収束は,高性能で試料効率のよいリモートセンシングのための堅牢な経路となることが示唆された。

関連論文リスト

• Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
  本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。 FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。 本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
  論文  参考訳（メタデータ） (2026-02-05T20:16:10Z)
• HyperTTA: Test-Time Adaptation for Hyperspectral Image Classification under Distribution Shifts [28.21559601586271]
  HyperTTA (Test-Time Adaptable Transformer for Hyperspectral Degradation) は、様々な劣化条件下でモデルロバスト性を高める統一フレームワークである。 テスト時の適応戦略である、信頼を意識したエントロピー最小化LayerNorm Adapter (CELA)は、LayerNorm層のアフィンパラメータのみを動的に更新する。 2つのベンチマークデータセットの実験では、HyperTTAがさまざまな劣化シナリオで最先端のベースラインを上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-09-10T09:31:37Z)
• Exploring Non-Local Spatial-Angular Correlations with a Hybrid Mamba-Transformer Framework for Light Field Super-Resolution [68.54692184478462]
  マンバ法は光画像超解像の計算コストと性能を最適化する大きな可能性を示している。 本稿では,より効率的かつ正確な特徴抽出を実現するために,Subspace Simple Mamba Block (SSMB) を設計したSubspace Simple Scanning (Sub-SS) 戦略を提案する。 また,空間角・異質情報の保存における状態空間の制限に対処する二段階モデリング手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T05:50:38Z)
• MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture [12.168520751389622]
  ハイパースペクトル画像(HSI)分類は、高次元データ、限られたトレーニングサンプル、スペクトル冗長性といった課題に直面している。 本稿では,3D-CNNの局所特徴抽出,Transformerのグローバルモデリング,Mambaの線形シーケンスモデリング機能を統合した新しいMVNetネットワークアーキテクチャを提案する。 IN、UP、KSCデータセットでは、MVNetは分類精度と計算効率の両方で主流のハイパースペクトル画像分類法より優れている。
  論文  参考訳（メタデータ） (2025-07-06T14:52:26Z)
• LoLA-SpecViT: Local Attention SwiGLU Vision Transformer with LoRA for Hyperspectral Imaging [6.360399841791849]
  軽量なスペクトルビジョン変換器であるtextbfLoLA-SpecViT (Low-rank adaptation Local Attention Spectral Vision Transformer) を提案する。 提案モデルでは,3次元畳み込みスペクトルフロントエンドと局所窓ベースの自己アテンションを組み合わせ,スペクトル特徴抽出と空間一貫性の両立を図る。 我々のフレームワークは、農業、環境モニタリング、リモートセンシング分析における実世界のHSIアプリケーションに対して、スケーラブルで一般化可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-06-21T16:46:00Z)
• Hypergraph Mamba for Efficient Whole Slide Image Understanding [10.285000840656808]
  ホイルスライド画像 (WSI) は, 超高解像度, 大規模, 複雑な空間関係のため, 医用画像解析において重要な課題となっている。 本稿では,ハイパーグラフニューラルネットワーク(HGNN)の高次リレーショナルモデリング機能と状態空間モデルの線形時間逐次モデリング効率を一体化する新しいフレームワークであるWSI-HGMambaを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T04:33:54Z)
• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。 われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。