論文の概要: HPFormer: Hyperspectral image prompt object tracking

• arxiv url: http://arxiv.org/abs/2308.07016v1
• Date: Mon, 14 Aug 2023 09:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 13:59:17.488590
• Title: HPFormer: Hyperspectral image prompt object tracking
• Title（参考訳）: HPFormer:ハイパースペクトル画像プロンプトオブジェクト追跡
• Authors: Yuedong Tan
• Abstract要約: ハイパースペクトル画像は、可視光RGB帯域を超えて豊富なスペクトル情報を含み、シーン内の物体に関する豊富な識別的詳細を提供する。 本稿では,HPFormerをトランスフォーマーに適用し,その強力な表現学習能力を活用する手法を提案する。 我々の研究は、頑健な物体追跡を進めるためにトランスフォーマーとハイパースペクトル融合の強みを利用する新しい洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral imagery contains abundant spectral information beyond the visible RGB bands, providing rich discriminative details about objects in a scene. Leveraging such data has the potential to enhance visual tracking performance. While prior hyperspectral trackers employ CNN or hybrid CNN-Transformer architectures, we propose a novel approach HPFormer on Transformers to capitalize on their powerful representation learning capabilities. The core of HPFormer is a Hyperspectral Hybrid Attention (HHA) module which unifies feature extraction and fusion within one component through token interactions. Additionally, a Transform Band Module (TBM) is introduced to selectively aggregate spatial details and spectral signatures from the full hyperspectral input for injecting informative target representations. Extensive experiments demonstrate state-of-the-art performance of HPFormer on benchmark NIR and VIS tracking datasets. Our work provides new insights into harnessing the strengths of transformers and hyperspectral fusion to advance robust object tracking.
• Abstract（参考訳）: ハイパースペクトル画像は、可視光RGB帯域を超えて豊富なスペクトル情報を含み、シーン内の物体に関する豊富な識別的詳細を提供する。 このようなデータを活用することで、ビジュアルトラッキングのパフォーマンスが向上する可能性がある。 従来のハイパースペクトルトラッカーではCNNやハイブリッドCNN-Transformerアーキテクチャが採用されていたが,HPFormer on Transformer では強力な表現学習能力を活かす新しいアプローチを提案する。 HPFormerのコアはHyperspectral Hybrid Attention (HHA)モジュールで、トークンの相互作用を通じて1つのコンポーネント内の特徴抽出と融合を統一する。 さらに、情報的対象表現を注入するための全ハイパースペクトル入力から空間詳細とスペクトル署名を選択的に集約する変換バンドモジュール(TBM)を導入する。 大規模な実験は、ベンチマークNIRおよびVIS追跡データセット上でHPFormerの最先端性能を示す。 我々の研究は、頑健な物体追跡を進めるためにトランスフォーマーとハイパースペクトル融合の強度を利用する新しい洞察を提供する。

関連論文リスト

• BihoT: A Large-Scale Dataset and Benchmark for Hyperspectral Camouflaged Object Tracking [22.533682363532403]
  我々は、ハイパースペクトルカモフラージュされた物体追跡(HCOT)と呼ばれる新しいタスクを提供する。 大規模HCOTデータセットであるBihoTは,49個のビデオシーケンスをカバーする41,912個のハイパースペクトル画像からなる。 スペクトルプロンプトベースインタラプタ・アウェアネットワーク(SPDAN)という,シンプルだが効果的なベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-22T09:07:51Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。 特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking [21.664141982246598]
  ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。 既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。 本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:37:13Z)
• Spectrum-driven Mixed-frequency Network for Hyperspectral Salient Object Detection [14.621504062838731]
  スペクトルから2つの異なる周波数成分を抽出することでスペクトル特性を完全に活用する新しい手法を提案する。 Spectral Saliency は有能なオブジェクトの領域を近似し、Spectral Edge は有能なオブジェクトのエッジ情報をキャプチャする。 この二重周波数情報を効果的に活用するために、新しい軽量スペクトラム駆動混合周波数ネットワーク(SMN)を導入する。
  論文  参考訳（メタデータ） (2023-12-02T08:05:45Z)
• Hy-Tracker: A Novel Framework for Enhancing Efficiency and Accuracy of Object Tracking in Hyperspectral Videos [19.733925664613093]
  本稿では,ハイパースペクトルデータと最先端オブジェクト検出のギャップを埋めるHy-Trackerという新しいフレームワークを提案する。 このフレームワークには、YOLOv7上に洗練されたトラッキングモジュールが組み込まれている。 ハイパースペクトルベンチマークデータセットの実験結果から,Hy-Trackerの有効性が示された。
  論文  参考訳（メタデータ） (2023-11-30T02:38:45Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation [55.9217962930169]
  S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。 S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
  論文  参考訳（メタデータ） (2023-06-14T09:01:50Z)
• Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
  従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。 既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。 DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
  論文  参考訳（メタデータ） (2022-11-06T07:59:07Z)
• Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
  本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。 本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。 さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
  論文  参考訳（メタデータ） (2022-04-08T15:22:33Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。