論文の概要: Hyperspectral Adapter for Object Tracking based on Hyperspectral Video
- arxiv url: http://arxiv.org/abs/2503.22199v1
- Date: Fri, 28 Mar 2025 07:31:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:29:36.837999
- Title: Hyperspectral Adapter for Object Tracking based on Hyperspectral Video
- Title（参考訳）: ハイパースペクトル映像に基づく物体追跡のためのハイパースペクトル適応器
- Authors: Long Gao, Yunhe Zhang, Langkun Chen, Yan Jiang, Weiying Xie, Yunsong Li,
- Abstract要約: 本研究では,新しいハイパースペクトル物体追跡手法であるハイパースペクトル追跡用アダプタ(HyA-T)を提案する。
提案手法は、スペクトル情報の損失を防止するため、ハイパースペクトル画像から直接スペクトル情報を抽出する。
HyA-Tはすべてのデータセットで最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 18.77789707539318
- License:
- Abstract: Object tracking based on hyperspectral video attracts increasing attention to the rich material and motion information in the hyperspectral videos. The prevailing hyperspectral methods adapt pretrained RGB-based object tracking networks for hyperspectral tasks by fine-tuning the entire network on hyperspectral datasets, which achieves impressive results in challenging scenarios. However, the performance of hyperspectral trackers is limited by the loss of spectral information during the transformation, and fine-tuning the entire pretrained network is inefficient for practical applications. To address the issues, a new hyperspectral object tracking method, hyperspectral adapter for tracking (HyA-T), is proposed in this work. The hyperspectral adapter for the self-attention (HAS) and the hyperspectral adapter for the multilayer perceptron (HAM) are proposed to generate the adaption information and to transfer the multi-head self-attention (MSA) module and the multilayer perceptron (MLP) in pretrained network for the hyperspectral object tracking task by augmenting the adaption information into the calculation of the MSA and MLP. Additionally, the hyperspectral enhancement of input (HEI) is proposed to augment the original spectral information into the input of the tracking network. The proposed methods extract spectral information directly from the hyperspectral images, which prevent the loss of the spectral information. Moreover, only the parameters in the proposed methods are fine-tuned, which is more efficient than the existing methods. Extensive experiments were conducted on four datasets with various spectral bands, verifing the effectiveness of the proposed methods. The HyA-T achieves state-of-the-art performance on all the datasets.
- Abstract（参考訳）: ハイパースペクトルビデオに基づく物体追跡は、ハイパースペクトルビデオにおけるリッチな材料や動き情報に注目を惹きつける。
ハイパースペクトル手法は、ハイパースペクトルデータセット上でネットワーク全体を微調整することにより、トレーニング済みのRGBベースのオブジェクトトラッキングネットワークをハイパースペクトルタスクに適用する。
しかし、変換中にスペクトル情報が失われることにより、ハイパースペクトルトラッカーの性能が制限され、事前学習されたネットワーク全体を微調整することは実用上非効率である。
この問題に対処するために,HyA-T (Hyperspectral Object Tracking) というハイパースペクトルオブジェクト追跡手法を提案する。
自己注意用ハイパースペクトルアダプタ(HAS)と多層受容器用ハイパースペクトルアダプタ(HAM)が提案され、適応情報を生成し、MSAとMLPの計算に適応情報を付加することにより、多頭部自己認識用モジュールと多層受容器(MLP)をハイパースペクトル物体追跡タスクの事前訓練ネットワークに転送する。
さらに、トラッキングネットワークの入力に元のスペクトル情報を付加するために、HEI(Hyperspectral enhancement of input)を提案する。
提案手法は、スペクトル情報の損失を防止するため、ハイパースペクトル画像から直接スペクトル情報を抽出する。
さらに,提案手法のパラメータのみを微調整し,既存の手法よりも効率的である。
提案手法の有効性を検証し, 様々なスペクトル帯域を持つ4つのデータセットに対して大規模な実験を行った。
HyA-Tはすべてのデータセットで最先端のパフォーマンスを達成する。
関連論文リスト
- Spectrum-oriented Point-supervised Saliency Detector for Hyperspectral Images [13.79887292039637]
ハイパースペクトル・サリエント物体検出(HSOD)における点監督について紹介する。
本稿では,従来のHSOD法から派生したスペクトル・サリエンシを,そのフレームワーク内で重要なスペクトル表現として組み込む。
本稿では,HSIに特化して設計された新しいパイプラインを提案し,点監督戦略に関連した性能低下を効果的に軽減する。
論文 参考訳（メタデータ） (2024-12-24T02:52:43Z) - BihoT: A Large-Scale Dataset and Benchmark for Hyperspectral Camouflaged Object Tracking [22.533682363532403]
我々は、ハイパースペクトルカモフラージュされた物体追跡(HCOT)と呼ばれる新しいタスクを提供する。
大規模HCOTデータセットであるBihoTは,49個のビデオシーケンスをカバーする41,912個のハイパースペクトル画像からなる。
スペクトルプロンプトベースインタラプタ・アウェアネットワーク(SPDAN)という,シンプルだが効果的なベースラインモデルを提案する。
論文 参考訳（メタデータ） (2024-08-22T09:07:51Z) - HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。
特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。
スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
論文 参考訳（メタデータ） (2024-06-17T13:22:58Z) - DMSSN: Distilled Mixed Spectral-Spatial Network for Hyperspectral Salient Object Detection [12.823338405434244]
HSOD(Hyperspectral Salient Object Detection)は,様々な用途において有望である。
特徴抽出過程における高スペクトル画像の特徴的特性(HSI)は,従来は不十分であった。
我々は、MSST(Distilled Spectral-Spatial Transformer)を含むDMSSN(Distilled Mixed Spectral-Spatial Network)を提案する。
この分野でのデータ不足の問題に対処するため、大規模なHSODデータセットHSOD-BITを作成しました。
論文 参考訳（メタデータ） (2024-03-31T14:04:57Z) - SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness
for Hyperspectral Object Tracking [21.664141982246598]
ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。
既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。
本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-09T09:37:13Z) - DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with
Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。
本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。
4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-01T07:03:27Z) - HHTrack: Hyperspectral Object Tracking Using Hybrid Attention [0.0]
ハイブリットアテンション(HHTrack)に基づくハイパースペクトルオブジェクトトラッカーを提案する。
HHTrackのコアはハイパースペクトルハイブリッドアテンション(HHA)モジュールで、トークンの相互作用を通じて特徴抽出と1つのコンポーネント内の融合を統一する。
ハイパースペクトルバンド融合(HBF)モジュールも導入され、全ハイパースペクトル入力から空間的およびスペクトル的シグネチャを選択的に集約する。
論文 参考訳（メタデータ） (2023-08-14T09:04:06Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - DS-Net: Dynamic Spatiotemporal Network for Video Salient Object
Detection [78.04869214450963]
時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。
提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-12-09T06:42:30Z) - Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。
我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。
その結果,小型歩行者の検出における本手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-08-19T13:13:01Z) - EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with
Cascade Refinement [53.69674636044927]
本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。
完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。
完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
論文 参考訳（メタデータ） (2020-02-18T08:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。