論文の概要: End-to-End Unmixing with Material Prompts for Hyperspectral Object Tracking
- arxiv url: http://arxiv.org/abs/2605.20569v1
- Date: Wed, 20 May 2026 00:01:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.415732
- Title: End-to-End Unmixing with Material Prompts for Hyperspectral Object Tracking
- Title(参考訳): ハイパースペクトル物体追跡のための材料プロンプトとエンド・ツー・エンドアンミックス
- Authors: Xu Han, Mohammad Aminul Islam, Lei Wang, Zekun Long, Guanmanyi Fu, Wangshu Cai, Kuldip K. Paliwal, Jun Zhou,
- Abstract要約: ハイパースペクトル画像は、外見のあいまいさ、照明の変化、背景の乱れの下でのロバスト性を改善することができるリッチな材料特性を符号化する。
適応周波数分解を伴う深層学習に基づくスペクトルアンミックスのための材料表現分解モジュールを提案する。
また、低周波および高周波の材料プロンプトを学習するデュアルブランチ・ウェーブレット強化材料プロンプトモジュールを導入する。
- 参考スコア(独自算出の注目度): 10.366723514972815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperspectral imagery encodes rich material properties that can improve tracking robustness under appearance ambiguity, illumination change, and background clutter. However, due to the limited availability of hyperspectral video data, many existing methods adapt pretrained RGB trackers via spatial or channel fusion strategies, largely neglecting the intrinsic material information in hyperspectral imagery. Moreover, the few material-aware approaches typically rely on external spectral unmixing pipelines that are decoupled from the tracking objective, limiting effective optimization of material representations for target localization. To address these limitations, we formulate hyperspectral object tracking as a joint optimization problem of material decomposition and target localization, coupling the two tasks via a weighted target-oriented unmixing loss that explicitly aligns material representations with localization accuracy. Specifically, we propose a material representation decomposition module for deep learning-based spectral unmixing with adaptive frequency decomposition. Building on the decomposed material representations, we further introduce a dual-branch wavelet-enhanced material prompt module that learns low- and high-frequency material prompts through efficient spatial-material interactions in the frequency domain. The framework is model-agnostic and can be seamlessly generalized to different unmixing backbones. Extensive experiments on standard hyperspectral tracking benchmarks demonstrate state-of-the-art performance and validate the effectiveness of the proposed end-to-end material-aware tracking framework. Code is available at https://github.com/han030927/E2EMPT.
- Abstract(参考訳): ハイパースペクトル画像は、外見のあいまいさ、照明の変化、背景の乱れの下でのロバスト性を改善することができるリッチな材料特性を符号化する。
しかし、ハイパースペクトル映像データの入手が限られているため、既存の多くの手法は空間やチャネルの融合戦略を通じて事前訓練されたRGBトラッカーを適応させ、ハイパースペクトル画像の固有の材料情報を無視している。
さらに、いくつかの物質認識アプローチは、典型的には、追跡対象から切り離された外部スペクトルアンミックスパイプラインに依存しており、ターゲットローカライゼーションのための材料表現の効果的な最適化を制限している。
これらの制約に対処するため,ハイパースペクトル物体追跡を材料分解とターゲットローカライゼーションの共同最適化問題として定式化し,材料表現を局所化精度と明示的に整合させる重み付けされた目標指向のアンミックス損失により2つのタスクを結合する。
具体的には、適応周波数分解を伴う深層学習に基づくスペクトルアンミックスのための材料表現分解モジュールを提案する。
さらに、分解された材料表現に基づいて、周波数領域における効率的な空間-物質相互作用を通して、低周波および高周波の材料プロンプトを学習するデュアルブランチ・ウェーブレット強化材料プロンプトモジュールを導入する。
このフレームワークはモデルに依存しないため、異なる混合されていないバックボーンにシームレスに一般化することができる。
標準超スペクトル追跡ベンチマークの広範囲な実験は、最先端の性能を示し、提案したエンドツーエンドの物質認識追跡フレームワークの有効性を検証している。
コードはhttps://github.com/han030927/E2EMPTで入手できる。
関連論文リスト
- MODA: The First Challenging Benchmark for Multispectral Object Detection in Aerial Images [26.48439423478357]
航空画像におけるマルチスペクトル物体検出のための最初の大規模データセット(MODA)を紹介する。
このデータセットは14,041のMSIと330,191のアノテーションで構成されている。
我々はまた、スペクトル情報と空間情報をオブジェクト認識キューに統合するフレームワークであるOSSDetを提案する。
論文 参考訳(メタデータ) (2025-12-10T10:07:06Z) - MaterialRefGS: Reflective Gaussian Splatting with Multi-view Consistent Material Inference [83.38607296779423]
より物理的な環境モデルを用いた多視点一貫した物質推定がガウススプラッティングによる正確な反射の学習の鍵となることを示す。
本手法は照明と幾何学の両方を忠実に復元し,新しいビュー合成における最先端のレンダリング品質を実現する。
論文 参考訳(メタデータ) (2025-10-13T13:29:20Z) - Hyperspectral Adapter for Semantic Segmentation with Vision Foundation Models [18.24287471339871]
ハイパースペクトルイメージング(HSI)は、多数の狭い波長帯にわたる密度のスペクトル測定とともに空間情報をキャプチャする。
本アーキテクチャでは、スペクトル変換器とスペクトル対応空間先行モジュールを組み込んで、豊富な空間スペクトル特徴を抽出する。
我々のアーキテクチャは、HSI入力を直接使用しながら、最先端のセマンティックセマンティックセマンティックセマンティクス性能を実現し、ビジョンベースとハイパースペクトルセマンティクスの両方のセマンティクス法より優れている。
論文 参考訳(メタデータ) (2025-09-24T13:32:07Z) - MGDFIS: Multi-scale Global-detail Feature Integration Strategy for Small Object Detection [12.838872442435527]
UAV画像の小さな物体検出は、探索・救助、交通監視、環境監視といった用途に不可欠である。
既存のマルチスケール融合法は、計算負荷を増し、詳細をぼかすのに役立つ。
本稿では,グローバルコンテキストと局所的な詳細を密結合して検出性能を向上させる統合融合フレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-15T02:54:25Z) - Optimizing Cooperative Multi-Object Tracking using Graph Signal Processing [45.68287260385148]
本稿では,3次元LiDARシーンにおける物体追跡のための協調型MOTフレームワークを提案する。
検出された境界ボックスによって定義される全連結グラフトポロジーを利用して、グラフラプラシアン処理最適化手法を用いる。
実世界のV2V4Realデータセットを用いて、広範な評価研究が行われた。
論文 参考訳(メタデータ) (2025-06-11T07:21:58Z) - AuxDet: Auxiliary Metadata Matters for Omni-Domain Infrared Small Target Detection [49.81255045696323]
補助メタデータ駆動型赤外小型ターゲット検出器(AuxDet)について述べる。
AuxDetはメタデータセマンティクスと視覚的特徴を統合し、各サンプルに対する適応表現学習を導く。
挑戦的なWideIRSTD-Fullベンチマークの実験は、AuxDetが一貫して最先端のメソッドより優れていることを示した。
論文 参考訳(メタデータ) (2025-05-21T07:02:05Z) - Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。
ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。
提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
論文 参考訳(メタデータ) (2023-08-17T11:30:46Z) - RRNet: Relational Reasoning Network with Parallel Multi-scale Attention
for Salient Object Detection in Optical Remote Sensing Images [82.1679766706423]
光リモートセンシング画像(RSI)のためのSODは、光学RSIから視覚的に特徴的な物体や領域を探索・抽出することを目的としている。
光学RSIにおけるSODに並列なマルチスケールアテンションを持つリレーショナル推論ネットワークを提案する。
提案するRRNetは,既存の最先端SODコンペティタよりも質的,定量的に優れている。
論文 参考訳(メタデータ) (2021-10-27T07:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。