論文の概要: FOCUS: Fused Observation of Channels for Unveiling Spectra
- arxiv url: http://arxiv.org/abs/2507.14787v1
- Date: Sun, 20 Jul 2025 02:08:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.052331
- Title: FOCUS: Fused Observation of Channels for Unveiling Spectra
- Title(参考訳): FOCUS:未知のスペクトルのチャネルの融合観測
- Authors: Xi Xiao, Aristeidis Tsaris, Anika Tabassum, John Lagergren, Larry M. York, Tianyang Wang, Xiao Wang,
- Abstract要約: 凍結したViTに対して、信頼性と効率的な空間スペクトル解釈を可能にする最初のフレームワークであるFOCUSを提案する。
FOCUSは、バンドレベルのIoUを15%改善し、注意崩壊を40%以上削減し、専門家のアノテーションと密接に一致したサリエンシ結果を生成する。
- 参考スコア(独自算出の注目度): 13.262409939223577
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Hyperspectral imaging (HSI) captures hundreds of narrow, contiguous wavelength bands, making it a powerful tool in biology, agriculture, and environmental monitoring. However, interpreting Vision Transformers (ViTs) in this setting remains largely unexplored due to two key challenges: (1) existing saliency methods struggle to capture meaningful spectral cues, often collapsing attention onto the class token, and (2) full-spectrum ViTs are computationally prohibitive for interpretability, given the high-dimensional nature of HSI data. We present FOCUS, the first framework that enables reliable and efficient spatial-spectral interpretability for frozen ViTs. FOCUS introduces two core components: class-specific spectral prompts that guide attention toward semantically meaningful wavelength groups, and a learnable [SINK] token trained with an attraction loss to absorb noisy or redundant attention. Together, these designs make it possible to generate stable and interpretable 3D saliency maps and spectral importance curves in a single forward pass, without any gradient backpropagation or backbone modification. FOCUS improves band-level IoU by 15 percent, reduces attention collapse by over 40 percent, and produces saliency results that align closely with expert annotations. With less than 1 percent parameter overhead, our method makes high-resolution ViT interpretability practical for real-world hyperspectral applications, bridging a long-standing gap between black-box modeling and trustworthy HSI decision-making.
- Abstract(参考訳): ハイパースペクトルイメージング(HSI)は、何百もの狭く連続した波長帯を捉え、生物学、農業、環境モニタリングにおいて強力なツールとなる。
しかし、この環境での視覚変換器(ViT)の解釈は、(1)既存のサリエンシ法は、意味のあるスペクトルの手がかりを捉えるのに苦労し、しばしばクラストークンに注意を落とし、(2)フルスペクトルのViTは、高次元のHSIデータの性質を考えると、計算的に解釈不可能である。
凍結したViTに対して、信頼性と効率的な空間スペクトル解釈を可能にする最初のフレームワークであるFOCUSを提案する。
FOCUSは、意味的に意味のある波長グループに注意を向けるクラス固有のスペクトルプロンプトと、ノイズや冗長な注意を吸収するためにアトラクションロスで訓練された学習可能な[SINK]トークンの2つのコアコンポーネントを導入している。
これらの設計により、安定かつ解釈可能な3Dサリエンシマップとスペクトルの重要度曲線を単一の前方通過で生成することができ、勾配のバックプロパゲーションやバックボーンの変更は不要である。
FOCUSは、バンドレベルのIoUを15%改善し、注意崩壊を40%以上削減し、専門家のアノテーションと密接に一致したサリエンシ結果を生成する。
パラメータのオーバーヘッドが1%未満の場合,本手法は実世界のハイパースペクトルアプリケーションにおいて高分解能なViT解釈性を実現し,ブラックボックスモデリングと信頼できるHSI意思決定の長年のギャップを埋める。
関連論文リスト
- Two Views, One Truth: Spectral and Self-Supervised Features Fusion for Robust Speech Deepfake Detection [11.121265242990166]
合成音声の最近の進歩は、音声のディープフェイクをますます現実的なものにし、重大なセキュリティリスクを生じさせている。
生波形の埋め込みやスペクトルに基づく特徴など、単一モードに依存する既存の検出方法は、非スプーフ障害に対して脆弱である。
自己教師付き学習(SSL)に基づく表現と手作りのスペクトル記述子を統合するハイブリッド融合フレームワークについて検討する。
論文 参考訳(メタデータ) (2025-07-27T21:22:27Z) - TESSER: Transfer-Enhancing Adversarial Attacks from Vision Transformers via Spectral and Semantic Regularization [3.962831477787584]
ディープニューラルネットワークの堅牢性を評価する上で、アドリヤルトランスファービリティは依然として重要な課題である。
textbfTESSERは、2つの主要な戦略を通じて転送可能性を高める新しい攻撃フレームワークである。
12の異なるアーキテクチャにわたるImageNetの実験では、TESSERはCNNでの攻撃成功率(ASR)が+10.9%高く、ViTでは+7.2%高かった。
論文 参考訳(メタデータ) (2025-05-26T07:30:00Z) - SpecSphere: Dual-Pass Spectral-Spatial Graph Neural Networks with Certified Robustness [1.7495213911983414]
SpecSphereは、最初のデュアルパススペクトル空間GNNで、$ell_0$のエッジフリップと$ell_inftyversaの特徴摂動に対する全ての予測を認証する。
本モデルでは,Chebyshev-polynomial スペクトル分枝と注目空間分枝を結合し,その表現を協調アドリアル min-max ゲームで訓練した軽量なゲームを通して融合する。
論文 参考訳(メタデータ) (2025-05-13T08:00:16Z) - Towards Anomaly-Aware Pre-Training and Fine-Tuning for Graph Anomaly Detection [59.042018542376596]
グラフ異常検出(GAD)は近年注目度が高まりつつあるが、2つの重要な要因があるため、依然として困難である。
Anomaly-Aware Pre-Training and Fine-Tuning (APF)は、GADの課題を軽減するためのフレームワークである。
10のベンチマークデータセットに関する総合的な実験は、最先端のベースラインと比較してAPFの優れたパフォーマンスを検証する。
論文 参考訳(メタデータ) (2025-04-19T09:57:35Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
論文 参考訳(メタデータ) (2025-03-25T15:04:53Z) - Spectrum-oriented Point-supervised Saliency Detector for Hyperspectral Images [13.79887292039637]
ハイパースペクトル・サリエント物体検出(HSOD)における点監督について紹介する。
本稿では,従来のHSOD法から派生したスペクトル・サリエンシを,そのフレームワーク内で重要なスペクトル表現として組み込む。
本稿では,HSIに特化して設計された新しいパイプラインを提案し,点監督戦略に関連した性能低下を効果的に軽減する。
論文 参考訳(メタデータ) (2024-12-24T02:52:43Z) - SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。
我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。
SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
論文 参考訳(メタデータ) (2024-04-12T14:12:03Z) - SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking [21.664141982246598]
ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。
既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。
本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
論文 参考訳(メタデータ) (2024-03-09T09:37:13Z) - Sub-token ViT Embedding via Stochastic Resonance Transformers [51.12001699637727]
Vision Transformer (ViT) アーキテクチャは、画像を高次元のベクトル化トークンの集合として表現し、それぞれが長方形の非重複パッチに対応する。
我々は「確率共鳴」にインスパイアされた無訓練法を提案する。
結果として得られるSRT(Stochastic Resonance Transformer)は、元の表現のリッチな意味情報を保持するが、空間的トークン化の粗い効果を軽減し、より微細な空間領域に基盤を置いている。
論文 参考訳(メタデータ) (2023-10-06T01:53:27Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳(メタデータ) (2023-07-26T07:45:14Z) - Spectral Enhanced Rectangle Transformer for Hyperspectral Image
Denoising [64.11157141177208]
ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。
前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。
後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
論文 参考訳(メタデータ) (2023-04-03T09:42:13Z) - Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain
Analysis: From Theory to Practice [111.47461527901318]
Vision Transformer (ViT) は先日,コンピュータビジョン問題における有望性を実証した。
ViTは観察された注意崩壊やパッチの均一性のために、深さが増加するにつれて急速に飽和する。
所望の低域制限を緩和する2つの手法を提案する。
論文 参考訳(メタデータ) (2022-03-09T23:55:24Z) - Hyperspectral Pansharpening Based on Improved Deep Image Prior and
Residual Reconstruction [64.10636296274168]
高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化
近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。
深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
論文 参考訳(メタデータ) (2021-07-06T14:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。