論文の概要: SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness
for Hyperspectral Object Tracking
- arxiv url: http://arxiv.org/abs/2403.05852v1
- Date: Sat, 9 Mar 2024 09:37:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:00:41.159372
- Title: SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness
for Hyperspectral Object Tracking
- Title（参考訳）: SSF-Net:ハイパースペクトル物体追跡のためのスペクトル角認識型空間スペクトル核融合ネットワーク
- Authors: Hanzheng Wang, Wei Li, Xiang-Gen Xia, Qian Du, and Jing Tian
- Abstract要約: ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。
既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。
本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 21.664141982246598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral video (HSV) offers valuable spatial, spectral, and temporal
information simultaneously, making it highly suitable for handling challenges
such as background clutter and visual similarity in object tracking. However,
existing methods primarily focus on band regrouping and rely on RGB trackers
for feature extraction, resulting in limited exploration of spectral
information and difficulties in achieving complementary representations of
object features. In this paper, a spatial-spectral fusion network with spectral
angle awareness (SST-Net) is proposed for hyperspectral (HS) object tracking.
Firstly, to address the issue of insufficient spectral feature extraction in
existing networks, a spatial-spectral feature backbone ($S^2$FB) is designed.
With the spatial and spectral extraction branch, a joint representation of
texture and spectrum is obtained. Secondly, a spectral attention fusion module
(SAFM) is presented to capture the intra- and inter-modality correlation to
obtain the fused features from the HS and RGB modalities. It can incorporate
the visual information into the HS spectral context to form a robust
representation. Thirdly, to ensure a more accurate response of the tracker to
the object position, a spectral angle awareness module (SAAM) investigates the
region-level spectral similarity between the template and search images during
the prediction stage. Furthermore, we develop a novel spectral angle awareness
loss (SAAL) to offer guidance for the SAAM based on similar regions. Finally,
to obtain the robust tracking results, a weighted prediction method is
considered to combine the HS and RGB predicted motions of objects to leverage
the strengths of each modality. Extensive experiments on the HOTC dataset
demonstrate the effectiveness of the proposed SSF-Net, compared with
state-of-the-art trackers.
- Abstract（参考訳）: ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供し、背景クラッタや物体追跡における視覚的類似性といった課題に非常に適している。
しかし、既存の手法は主にバンドの再グループ化に重点を置いており、特徴抽出のためにrgbトラッカに依存しており、スペクトル情報の探索やオブジェクトの特徴の補完的な表現の達成が困難になっている。
本稿では,超スペクトル(hs)物体追跡のためのスペクトル角認識(sst-net)を備えた空間スペクトル融合ネットワークを提案する。
まず、既存のネットワークにおけるスペクトル特徴抽出が不十分な問題に対処するため、空間スペクトル特徴バックボーン(S^2$FB)を設計する。
空間的およびスペクトル的抽出分岐により、テクスチャとスペクトルの結合表現が得られる。
次に、スペクトル注意融合モジュール(SAFM)を提示し、モダリティ内およびモダリティ間相関を捕捉し、HSおよびRGBモダリティから融合した特徴を得る。
視覚情報をHSスペクトルコンテキストに組み込んで、堅牢な表現を形成することができる。
第3に、対象位置に対するトラッカのより正確な応答を確保するため、スペクトル角認識モジュール(saam)は、予測段階におけるテンプレートと検索画像との領域レベルのスペクトル類似性を調べる。
さらに、同様の領域に基づくSAAMのガイダンスを提供するために、新しいスペクトル角認識損失(SAAL)を開発した。
最後に、ロバストな追跡結果を得るために、hsとrgbが予測した物体の動きを組み合わせて各モードの強さを活用する重み付き予測法を考える。
HOTCデータセットの大規模な実験は、最先端トラッカーと比較して提案したSSF-Netの有効性を示す。
関連論文リスト
- HTD-Mamba: Efficient Hyperspectral Target Detection with Pyramid State Space Model [5.505983410956103]
ハイパースペクトルターゲット検出(HTD)は、ピクセルレベルの複雑な背景から興味のある対象を特定する。
本稿では, HTD-Mamba というピラミッド状態空間モデル (SSM) を用いた効率的な自己教師型 HTD 手法を提案する。
4つの公開データセットで行った実験により,提案手法は定量評価と定性評価の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-07-09T13:21:26Z) - HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。
特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。
スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
論文 参考訳（メタデータ） (2024-06-17T13:22:58Z) - Hyperspectral Image Reconstruction via Combinatorial Embedding of
Cross-Channel Spatio-Spectral Clues [6.580484964018551]
既存の学習に基づくハイパースペクトル再構成手法は、ハイパースペクトルバンド間の情報を完全に活用する際の限界を示す。
それぞれの超スペクトル空間における相互依存性について検討する。
これらの組み込み機能は、チャネル間相関をクエリすることで、完全に活用することができる。
論文 参考訳（メタデータ） (2023-12-18T11:37:19Z) - Spectrum-driven Mixed-frequency Network for Hyperspectral Salient Object
Detection [14.621504062838731]
スペクトルから2つの異なる周波数成分を抽出することでスペクトル特性を完全に活用する新しい手法を提案する。
Spectral Saliency は有能なオブジェクトの領域を近似し、Spectral Edge は有能なオブジェクトのエッジ情報をキャプチャする。
この二重周波数情報を効果的に活用するために、新しい軽量スペクトラム駆動混合周波数ネットワーク(SMN)を導入する。
論文 参考訳（メタデータ） (2023-12-02T08:05:45Z) - Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral
Image Super-Resolution [47.12985199570964]
超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。
具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。
3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
論文 参考訳（メタデータ） (2023-11-29T03:38:56Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - Object Detection in Hyperspectral Image via Unified Spectral-Spatial
Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。
S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文 参考訳（メタデータ） (2023-06-14T09:01:50Z) - Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image
Reconstruction [127.20208645280438]
ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。
スペクトル間相互作用のモデル化は、HSI再構成に有用である。
Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-15T16:59:48Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳（メタデータ） (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。