論文の概要: BihoT: A Large-Scale Dataset and Benchmark for Hyperspectral Camouflaged Object Tracking
- arxiv url: http://arxiv.org/abs/2408.12232v1
- Date: Thu, 22 Aug 2024 09:07:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 14:33:24.975681
- Title: BihoT: A Large-Scale Dataset and Benchmark for Hyperspectral Camouflaged Object Tracking
- Title（参考訳）: BihoT: ハイパースペクトルカモフラージュオブジェクト追跡のための大規模データセットとベンチマーク
- Authors: Hanzheng Wang, Wei Li, Xiang-Gen Xia, Qian Du,
- Abstract要約: 我々は、ハイパースペクトルカモフラージュされた物体追跡(HCOT)と呼ばれる新しいタスクを提供する。
大規模HCOTデータセットであるBihoTは,49個のビデオシーケンスをカバーする41,912個のハイパースペクトル画像からなる。
スペクトルプロンプトベースインタラプタ・アウェアネットワーク(SPDAN)という,シンプルだが効果的なベースラインモデルを提案する。
- 参考スコア（独自算出の注目度）: 22.533682363532403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral object tracking (HOT) has exhibited potential in various applications, particularly in scenes where objects are camouflaged. Existing trackers can effectively retrieve objects via band regrouping because of the bias in existing HOT datasets, where most objects tend to have distinguishing visual appearances rather than spectral characteristics. This bias allows the tracker to directly use the visual features obtained from the false-color images generated by hyperspectral images without the need to extract spectral features. To tackle this bias, we find that the tracker should focus on the spectral information when object appearance is unreliable. Thus, we provide a new task called hyperspectral camouflaged object tracking (HCOT) and meticulously construct a large-scale HCOT dataset, termed BihoT, which consists of 41,912 hyperspectral images covering 49 video sequences. The dataset covers various artificial camouflage scenes where objects have similar appearances, diverse spectrums, and frequent occlusion, making it a very challenging dataset for HCOT. Besides, a simple but effective baseline model, named spectral prompt-based distractor-aware network (SPDAN), is proposed, comprising a spectral embedding network (SEN), a spectral prompt-based backbone network (SPBN), and a distractor-aware module (DAM). Specifically, the SEN extracts spectral-spatial features via 3-D and 2-D convolutions. Then, the SPBN fine-tunes powerful RGB trackers with spectral prompts and alleviates the insufficiency of training samples. Moreover, the DAM utilizes a novel statistic to capture the distractor caused by occlusion from objects and background. Extensive experiments demonstrate that our proposed SPDAN achieves state-of-the-art performance on the proposed BihoT and other HOT datasets.
- Abstract（参考訳）: ハイパースペクトル物体追跡(HOT)は様々な用途、特に被写体がカモフラージュされた場面に可能性を示した。
既存のトラッカーは、既存のHOTデータセットに偏りがあり、ほとんどのオブジェクトはスペクトル特性よりも視覚的外観を区別する傾向があるため、バンド再編成によって効果的にオブジェクトを検索できる。
このバイアスにより、トラッカーは、スペクトル特徴を抽出することなく、ハイパースペクトル画像によって生成された偽色画像から得られる視覚的特徴を直接使用することができる。
このバイアスに対処するために、トラッカーは、オブジェクトの外観が信頼できない場合にスペクトル情報に集中すべきである。
そこで我々は、ハイパースペクトルカモフラージュオブジェクトトラッキング(HCOT)と呼ばれる新しいタスクを提供し、49の動画シーケンスをカバーする41,912のハイパースペクトル画像からなる大規模HCOTデータセット、BihoTを慎重に構築する。
データセットは、オブジェクトが類似した外観、多様なスペクトル、頻繁な閉塞を持つ様々な人工カモフラージュシーンをカバーしており、HCOTにとって非常に難しいデータセットである。
また、スペクトル埋め込みネットワーク(SEN)、スペクトルインプロンプトベースバックボーンネットワーク(SPBN)、およびイントラクタ・アウェアモジュール(DAM)からなる、単純だが効果的なベースラインモデル(SPDAN)を提案する。
具体的には、SENは3次元と2次元の畳み込みによってスペクトル空間の特徴を抽出する。
そして、SPBNファインチューニングの強力なRGBトラッカーにスペクトルプロンプトを付与し、トレーニングサンプルの不十分さを軽減する。
さらに、DAMは、対象物や背景からの隠蔽によって引き起こされる散逸を捉えるために、新しい統計量を利用する。
広汎な実験により提案したSPDANは,提案したBihoTおよび他のHOTデータセット上で最先端の性能を達成することが示された。
関連論文リスト
- SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness
for Hyperspectral Object Tracking [21.664141982246598]
ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。
既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。
本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-09T09:37:13Z) - SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳（メタデータ） (2023-11-13T07:09:30Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - HHTrack: Hyperspectral Object Tracking Using Hybrid Attention [0.0]
ハイブリットアテンション(HHTrack)に基づくハイパースペクトルオブジェクトトラッカーを提案する。
HHTrackのコアはハイパースペクトルハイブリッドアテンション(HHA)モジュールで、トークンの相互作用を通じて特徴抽出と1つのコンポーネント内の融合を統一する。
ハイパースペクトルバンド融合(HBF)モジュールも導入され、全ハイパースペクトル入力から空間的およびスペクトル的シグネチャを選択的に集約する。
論文 参考訳（メタデータ） (2023-08-14T09:04:06Z) - EANet: Enhanced Attribute-based RGBT Tracker Network [0.0]
RGBと熱画像(RGBT)を融合した深層学習に基づく画像追跡手法を提案する。
提案モデルは,特徴抽出器とトラッカーの2つの主成分から構成される。
提案手法はRGBT234 citeLiCLiang 2018とLasHeR citeLiLasher 2021データセットで評価される。
論文 参考訳（メタデータ） (2023-07-04T19:34:53Z) - Object Detection in Hyperspectral Image via Unified Spectral-Spatial
Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。
S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文 参考訳（メタデータ） (2023-06-14T09:01:50Z) - Fast Fourier Convolution Based Remote Sensor Image Object Detection for
Earth Observation [0.0]
リモートセンシングオブジェクト検出のための周波数対応特徴ピラミッドフレームワーク(FFPF)を提案する。
F-ResNetは、周波数領域の畳み込みをバックボーンの各ステージに差し込み、スペクトルコンテキスト情報を知覚するために提案される。
BSFPNは、双方向サンプリング戦略とスキップ接続を用いて、異なるスケールの物体の特徴の関連をより良くモデル化するように設計されている。
論文 参考訳（メタデータ） (2022-09-01T15:50:58Z) - Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。
本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。
さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
論文 参考訳（メタデータ） (2022-04-08T15:22:33Z) - RRNet: Relational Reasoning Network with Parallel Multi-scale Attention
for Salient Object Detection in Optical Remote Sensing Images [82.1679766706423]
光リモートセンシング画像(RSI)のためのSODは、光学RSIから視覚的に特徴的な物体や領域を探索・抽出することを目的としている。
光学RSIにおけるSODに並列なマルチスケールアテンションを持つリレーショナル推論ネットワークを提案する。
提案するRRNetは,既存の最先端SODコンペティタよりも質的,定量的に優れている。
論文 参考訳（メタデータ） (2021-10-27T07:18:32Z) - Multispectral Object Detection with Deep Learning [7.592218846348004]
本研究では,物体検出タスクにおいて,熱スペクトルとNIRスペクトルの両方を用いて撮像を行った。
我々は、マルチスペクトル画像から物体を検出するために、YOLO v3ネットワークをスクラッチからトレーニングする。
論文 参考訳（メタデータ） (2021-02-05T11:39:14Z) - DS-Net: Dynamic Spatiotemporal Network for Video Salient Object
Detection [78.04869214450963]
時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。
提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-12-09T06:42:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。