論文の概要: Hyperspectral Adapter for Object Tracking based on Hyperspectral Video

• arxiv url: http://arxiv.org/abs/2503.22199v1
• Date: Fri, 28 Mar 2025 07:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 19:09:59.600239
• Title: Hyperspectral Adapter for Object Tracking based on Hyperspectral Video
• Title（参考訳）: ハイパースペクトル映像に基づく物体追跡のためのハイパースペクトル適応器
• Authors: Long Gao, Yunhe Zhang, Langkun Chen, Yan Jiang, Weiying Xie, Yunsong Li,
• Abstract要約: 本研究では,新しいハイパースペクトル物体追跡手法であるハイパースペクトル追跡用アダプタ(HyA-T)を提案する。 提案手法は、スペクトル情報の損失を防止するため、ハイパースペクトル画像から直接スペクトル情報を抽出する。 HyA-Tはすべてのデータセットで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 18.77789707539318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object tracking based on hyperspectral video attracts increasing attention to the rich material and motion information in the hyperspectral videos. The prevailing hyperspectral methods adapt pretrained RGB-based object tracking networks for hyperspectral tasks by fine-tuning the entire network on hyperspectral datasets, which achieves impressive results in challenging scenarios. However, the performance of hyperspectral trackers is limited by the loss of spectral information during the transformation, and fine-tuning the entire pretrained network is inefficient for practical applications. To address the issues, a new hyperspectral object tracking method, hyperspectral adapter for tracking (HyA-T), is proposed in this work. The hyperspectral adapter for the self-attention (HAS) and the hyperspectral adapter for the multilayer perceptron (HAM) are proposed to generate the adaption information and to transfer the multi-head self-attention (MSA) module and the multilayer perceptron (MLP) in pretrained network for the hyperspectral object tracking task by augmenting the adaption information into the calculation of the MSA and MLP. Additionally, the hyperspectral enhancement of input (HEI) is proposed to augment the original spectral information into the input of the tracking network. The proposed methods extract spectral information directly from the hyperspectral images, which prevent the loss of the spectral information. Moreover, only the parameters in the proposed methods are fine-tuned, which is more efficient than the existing methods. Extensive experiments were conducted on four datasets with various spectral bands, verifing the effectiveness of the proposed methods. The HyA-T achieves state-of-the-art performance on all the datasets.
• Abstract（参考訳）: ハイパースペクトルビデオに基づく物体追跡は、ハイパースペクトルビデオにおけるリッチな材料や動き情報に注目を惹きつける。 ハイパースペクトル手法は、ハイパースペクトルデータセット上でネットワーク全体を微調整することにより、トレーニング済みのRGBベースのオブジェクトトラッキングネットワークをハイパースペクトルタスクに適用する。 しかし、変換中にスペクトル情報が失われることにより、ハイパースペクトルトラッカーの性能が制限され、事前学習されたネットワーク全体を微調整することは実用上非効率である。 この問題に対処するために,HyA-T (Hyperspectral Object Tracking) というハイパースペクトルオブジェクト追跡手法を提案する。 自己注意用ハイパースペクトルアダプタ(HAS)と多層受容器用ハイパースペクトルアダプタ(HAM)が提案され、適応情報を生成し、MSAとMLPの計算に適応情報を付加することにより、多頭部自己認識用モジュールと多層受容器(MLP)をハイパースペクトル物体追跡タスクの事前訓練ネットワークに転送する。 さらに、トラッキングネットワークの入力に元のスペクトル情報を付加するために、HEI(Hyperspectral enhancement of input)を提案する。 提案手法は、スペクトル情報の損失を防止するため、ハイパースペクトル画像から直接スペクトル情報を抽出する。 さらに,提案手法のパラメータのみを微調整し,既存の手法よりも効率的である。 提案手法の有効性を検証し, 様々なスペクトル帯域を持つ4つのデータセットに対して大規模な実験を行った。 HyA-Tはすべてのデータセットで最先端のパフォーマンスを達成する。

関連論文リスト

• HSOD-BIT-V2: A New Challenging Benchmarkfor Hyperspectral Salient Object Detection [12.1018751772293]
  HSOD-BIT-V2は,これまでで最大かつ最も困難なHSODベンチマークデータセットである。 我々は高分解能HSODネットワークであるHyper-HRNetを提案する。 有効スペクトル情報を抽出し、統合し、保存し、自己相似スペクトルの特徴を捉え、次元性を減少させる。 詳細な詳細を伝達し、包括的グローバル情報と詳細なオブジェクト塩分表現を組み込むことで、オブジェクトの輪郭を正確に特定する。
  論文  参考訳（メタデータ） (2025-03-18T05:09:42Z)
• Spectral-Enhanced Transformers: Leveraging Large-Scale Pretrained Models for Hyperspectral Object Tracking [35.34526230299484]
  本稿では,超スペクトル物体追跡のためのトランスフォーマーベース基礎モデルに適応する効果的な手法を提案する。 本稿では,任意の変圧器ベースのバックボーンに拡張可能な適応型,学習可能な空間分光トークン融合モジュールを提案する。
  論文  参考訳（メタデータ） (2025-02-26T01:46:21Z)
• Spectrum-oriented Point-supervised Saliency Detector for Hyperspectral Images [13.79887292039637]
  ハイパースペクトル・サリエント物体検出(HSOD)における点監督について紹介する。 本稿では,従来のHSOD法から派生したスペクトル・サリエンシを,そのフレームワーク内で重要なスペクトル表現として組み込む。 本稿では,HSIに特化して設計された新しいパイプラインを提案し,点監督戦略に関連した性能低下を効果的に軽減する。
  論文  参考訳（メタデータ） (2024-12-24T02:52:43Z)
• BihoT: A Large-Scale Dataset and Benchmark for Hyperspectral Camouflaged Object Tracking [22.533682363532403]
  我々は、ハイパースペクトルカモフラージュされた物体追跡(HCOT)と呼ばれる新しいタスクを提供する。 大規模HCOTデータセットであるBihoTは,49個のビデオシーケンスをカバーする41,912個のハイパースペクトル画像からなる。 スペクトルプロンプトベースインタラプタ・アウェアネットワーク(SPDAN)という,シンプルだが効果的なベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-22T09:07:51Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。 特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• DMSSN: Distilled Mixed Spectral-Spatial Network for Hyperspectral Salient Object Detection [12.823338405434244]
  HSOD(Hyperspectral Salient Object Detection)は,様々な用途において有望である。 特徴抽出過程における高スペクトル画像の特徴的特性(HSI)は,従来は不十分であった。 我々は、MSST(Distilled Spectral-Spatial Transformer)を含むDMSSN(Distilled Mixed Spectral-Spatial Network)を提案する。 この分野でのデータ不足の問題に対処するため、大規模なHSODデータセットHSOD-BITを作成しました。
  論文  参考訳（メタデータ） (2024-03-31T14:04:57Z)
• DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
  赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。 本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。 4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-01T07:03:27Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• HHTrack: Hyperspectral Object Tracking Using Hybrid Attention [0.0]
  ハイブリットアテンション(HHTrack)に基づくハイパースペクトルオブジェクトトラッカーを提案する。 HHTrackのコアはハイパースペクトルハイブリッドアテンション(HHA)モジュールで、トークンの相互作用を通じて特徴抽出と1つのコンポーネント内の融合を統一する。 ハイパースペクトルバンド融合(HBF)モジュールも導入され、全ハイパースペクトル入力から空間的およびスペクトル的シグネチャを選択的に集約する。
  論文  参考訳（メタデータ） (2023-08-14T09:04:06Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
  適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。 我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。 その結果,小型歩行者の検出における本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-08-19T13:13:01Z)
• EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with Cascade Refinement [53.69674636044927]
  本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。 完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。 完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-18T08:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。