論文の概要: Latent Spectral Prompting for Multimodal Hyperspectral Object Tracking

• arxiv url: http://arxiv.org/abs/2611.02512v1
• Date: Mon, 02 Nov 2026 04:31:52 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:20:17.383814
• Title: Latent Spectral Prompting for Multimodal Hyperspectral Object Tracking
• Title（参考訳）: マルチモーダルハイパースペクトル物体追跡のための潜在スペクトルプロンプト
• Abstract要約: 本稿では,事前学習したRGBトラッカーからハイパースペクトル領域へ時間的知識を伝達するフレームワークであるSProTrackを提案する。 スペクトル空間構造をコンパクトな遅延プロンプトに符号化することで、SProTrackはRGB-ハイパースペクトルのモダリティギャップを広範囲のリトレーニングや密集した監視なしに橋渡しする。
• 参考スコア（独自算出の注目度）: 10.647358140702808
• License:
• Abstract: Hyperspectral videos provide rich spectral signatures for robust tracking under challenging conditions such as camouflage and low illumination. However, limited hyperspectral annotations and the large RGB-hyperspectral domain gap hinder the direct use of modern temporally pretrained RGB trackers. We propose SProTrack, a multimodal framework that transfers temporal knowledge from pretrained RGB trackers to the hyperspectral domain through latent spectral prompting. The key idea is to decouple temporal modeling from spectral adaptation, allowing temporal dynamics to be inherited from RGB foundation models while hyperspectral information is learned from unlabeled data in a self-supervised manner. Unlike band-selection methods that discard most spectral information or prompt-based approaches that rely on local-search crops, SProTrack learns a global, scene-level spectral representation from the full hyperspectral frame using an autoencoder. This latent representation is used to guide spectral prompt extraction while a pretrained RGB tracker preserves strong temporal modeling on RGB-compatible inputs. By encoding spectral-spatial structure into compact latent prompts, SProTrack bridges the RGB-hyperspectral modality gap without extensive retraining or dense supervision. Experiments on HOT2020 and HOT2023 demonstrate that SProTrack achieves the best overall performance, with strong results across all spectral domains.
• Abstract（参考訳）: ハイパースペクトルビデオは、カモフラージュや低照度といった困難な条件下で、ロバストな追跡のために豊富なスペクトルシグネチャを提供する。 しかし、制限されたハイパースペクトルアノテーションと大きなRGB-ハイパースペクトル領域ギャップは、現代の時間的に事前訓練されたRGBトラッカーの直接使用を妨げる。 本稿では,事前学習したRGBトラッカーから遅延スペクトルプロンプトを通じて高スペクトル領域に時間的知識を伝達するマルチモーダルフレームワークであるSProTrackを提案する。 鍵となる考え方は、時間的モデリングをスペクトル適応から切り離し、時間的ダイナミクスをRGB基礎モデルから継承し、ハイパースペクトル情報はラベルのないデータから自己管理的に学習することである。 SProTrackは、ほとんどのスペクトル情報を捨てるバンド選択法や、局所探索作物に依存するプロンプトベースのアプローチとは異なり、オートエンコーダを使用して全ハイパースペクトルフレームからグローバルでシーンレベルのスペクトル表現を学習する。 この潜在表現はスペクトルプロンプト抽出を導くのに用いられ、事前訓練されたRGBトラッカーはRGB互換入力の強い時間的モデリングを保持する。 スペクトル空間構造をコンパクトな遅延プロンプトに符号化することで、SProTrackはRGB-ハイパースペクトルのモダリティギャップを広範囲のリトレーニングや密集した監視なしに橋渡しする。 HOT2020 と HOT2023 の実験では、SProTrack が全てのスペクトル領域で強い結果を得て、最高の総合的なパフォーマンスを達成することを示した。

関連論文リスト

• MSP-Net: Manifold-Guided Spectral Prompt Network for Hyperspectral Object Tracking [11.03462046191901]
  ハイパースペクトルオブジェクトトラッキングは、複雑なシーンにおけるターゲット識別にユニークな利点を提供する。 既存の方法は、高スペクトル画像をRGB画像のマルチチャネル拡張として扱い、固定帯域順序で特徴融合を行う。 マニフォールド誘導分光プロンプトネットワーク(MSP-Net)を提案する。 HOT2020 と HOT2023 の実験では、MSP-Net は AUC と Precision をそれぞれ 0.80 と 0.96 を超える精度で達成している。
  論文  参考訳（メタデータ） (2026-08-10T13:09:25Z)
• Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
  我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。 深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。 Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
  論文  参考訳（メタデータ） (2026-07-10T06:52:09Z)
• SpectraDINO: Bridging the Spectral Gap in Vision Foundation Models via Lightweight Adapters [1.2622634782102324]
  大規模RGBデータに事前訓練されたビジョンファウンデーションモデル(VFM)は、顕著な表現品質を示している。 近赤外(NIR)、短波赤外(SWIR)、長波赤外(LWIR)にまたがるマルチスペクトルイメージングへの適用性は、いまだに未調査である。 我々は、DINOv2 ViTバックボーンを超可視モードに拡張することで、このスペクトルギャップを橋渡しするマルチスペクトルVFMであるSpectraDINOを提案する。
  論文  参考訳（メタデータ） (2026-05-04T06:09:13Z)
• Exposing DeepFakes via Hyperspectral Domain Mapping [4.8213677522924145]
  HSI-Detectは、標準RGB入力から31チャンネルのハイパースペクトル画像を再構成し、ハイパースペクトル領域で検出する。 FaceForensics++データセット間でHSI-Detectを評価し、RGBのみのベースラインに対する一貫した改善を示す。
  論文  参考訳（メタデータ） (2025-11-13T06:25:44Z)
• CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [69.02751635551724]
  スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。 スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。 本稿では,RGB,マルチスペクトル,ハイパースペクトル画像を用いたカメラ非依存表現学習モデルCARLを紹介する。
  論文  参考訳（メタデータ） (2025-04-27T13:06:40Z)
• SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking [21.664141982246598]
  ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。 既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。 本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:37:13Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。