論文の概要: Difference Feature Map Distillation: Transferring Inter-Sample Relational Knowledge Towards Efficient Transformer-Based Tracking

• arxiv url: http://arxiv.org/abs/2610.05707v1
• Date: Mon, 05 Oct 2026 02:43:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 21:24:44.702759
• Title: Difference Feature Map Distillation: Transferring Inter-Sample Relational Knowledge Towards Efficient Transformer-Based Tracking
• Title（参考訳）: 差分特徴写像蒸留:効率的な変圧器に基づくトラッキングに向けてのサンプル間関係知識の伝達
• Abstract要約: 変圧器を用いた視覚的物体追跡のための差分特徴マップ知識蒸留(DFM-KD)を提案する。 DFM-KDは、サンプル間特徴差を通じて知識を伝達し、特徴空間のリレーショナル構造を明示的に整列する。 精度と成功率の両方において、従来の特徴レベルの蒸留法よりも一貫して優れている。
• 参考スコア（独自算出の注目度）: 1.033641524013995
• License:
• Abstract: In autonomous driving perception, visual object tracking systems must satisfy stringent latency and power constraints while remaining robust in complex and dynamic environments. Although transformer-based trackers achieve state-of-the-art accuracy, their substantial computational and memory overheads hinder deployment on real-time, resource-constrained platforms. To move toward this goal, we propose Difference Feature Map Knowledge Distillation (DFM-KD), a novel relational distillation framework tailored for transformer-based visual object tracking. Unlike conventional feature distillation methods that minimize point-wise discrepancies (e.g., mean squared error) between teacher and student feature representations, DFM-KD transfers knowledge through inter-sample feature differences, explicitly aligning the relational structure of the feature space. By distilling how the teacher models appearance variation and consistency across samples, rather than enforcing similarity in absolute activations, DFM-KD enables the student to better capture the structural dynamics of visual changes within a batch. As a result, the distilled model exhibits enhanced feature robustness and improved tracking performance. Extensive experiments demonstrate that DFM-KD consistently outperforms conventional feature-level distillation methods in both tracking precision and success rates.
• Abstract（参考訳）: 自律運転認識では、視覚的物体追跡システムは、複雑な環境や動的環境において頑健でありながら、厳密なレイテンシと電力制約を満たさなければならない。 トランスフォーマーベースのトラッカーは最先端の精度を達成するが、その計算とメモリのオーバーヘッドが、リアルタイムのリソース制約のあるプラットフォームへの展開を妨げる。 本研究の目的は,変圧器を用いた視覚的物体追跡に適した新しいリレーショナル蒸留フレームワークである差分特徴マップ知識蒸留(DFM-KD)を提案することである。 DFM-KDは,教師と生徒の特徴表現間の点次差(平均二乗誤差)を最小限に抑える従来の特徴蒸留法とは異なり,特徴空間の相関構造を明示的に整合させ,サンプル間特徴差を通じて知識を伝達する。 DFM-KDは、教師が絶対的なアクティベーションで類似性を強制するのではなく、サンプル間の外観の変化と一貫性をモデル化する方法を精査することによって、学生がバッチ内の視覚変化の構造的ダイナミクスをよりよく捉えることができる。 その結果, 蒸留モデルでは, 性能が向上し, 追跡性能が向上した。 DFM-KDは、精度と成功率の両方において、従来の特徴量蒸留法よりも一貫して優れていることを示した。

関連論文リスト

• Dual-branch Distilled Transformer for Efficient Asymmetric UAV Tracking [34.13651852483772]
  EATrackは教師が指導するUAV追跡のための二重分岐蒸留戦略である。 生徒に強い対象表現を学習させることで、表現の弱さを補う。 5つのUAVベンチマークの実験では、EATrackは精度と速度のバランスが良好であることが示されている。
  論文  参考訳（メタデータ） (2026-05-27T06:20:13Z)
• Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling [68.1289208938377]
  イベントベースのデータストリームから目の特徴抽出を効率的かつ低エネルギーで行うことができる。 本稿では,特徴抽出のための新しいアーキテクチャである強調型推論状態空間モデル(AISSM)を紹介する。 また、トレーニング効率を向上させる新しい学習手法を開発・評価する。
  論文  参考訳（メタデータ） (2026-03-14T18:47:08Z)
• UHKD: A Unified Framework for Heterogeneous Knowledge Distillation via Frequency-Domain Representations [5.382357091398666]
  クロスアーキテクチャ転送に周波数領域の中間的特徴を利用するフレームワークとして、統一不均一知識蒸留(UHKD)が提案されている。 CIFAR-100とImageNet-1Kの実験では、最新の手法よりも5.59%、0.83%向上した。
  論文  参考訳（メタデータ） (2025-10-28T06:41:43Z)
• Data Efficient Any Transformer-to-Mamba Distillation via Attention Bridge [54.948715010753745]
  状態空間モデル(SSM)はシーケンシャルモデリングのためのトランスフォーマーの効率的な代替品として登場し、再帰的な構造を通して優れたスケーラビリティを提供する。 本研究では,トランスフォーマーの教師から状態空間の学生モデルへの注意知識の伝達を効率的に行う新しいデータ効率蒸留フレームワークであるCAB(Cross-architecture distillation via Attention Bridge)を提案する。 本研究は,より強力なSSMコミュニティを構築するために,Transformerの専門知識の迅速な活用を可能にするために,注意に基づく知識を反復モデルに効率的に移行できることを示唆する。
  論文  参考訳（メタデータ） (2025-10-22T05:56:14Z)
• Smooth-Distill: A Self-distillation Framework for Multitask Learning with Wearable Sensor Data [0.0]
  本稿では,人間の活動認識(HAR)とセンサ配置検出を同時に行うように設計された,新しい自己蒸留フレームワークであるSmooth-Distillを紹介する。 従来の蒸留法とは異なり, 提案手法では, モデル自体のスムーズな歴史バージョンを教師として利用している。 実験結果から,Smooth-Distill は異なる評価シナリオにおける代替手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-06-27T06:51:51Z)
• Intrinsic Dynamics-Driven Generalizable Scene Representations for Vision-Oriented Decision-Making Applications [0.21051221444478305]
  シーン表現の能力をいかに向上させるかは、ビジョン指向の意思決定アプリケーションにおいて重要な問題である。 視覚強化学習におけるシーケンスモデルを用いた固有ダイナミクス駆動表現学習法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T06:31:03Z)
• Promoting CNNs with Cross-Architecture Knowledge Distillation for Efficient Monocular Depth Estimation [4.242540533823568]
  トランスフォーマーモデルは通常計算に精通し、その軽量モデルにおける有効性は畳み込みと比較して制限される。 本研究では, 最先端変圧器モデルを監督し, 効率的なCNNモデルを構築するために, DisDepth と呼ばれるMDE のクロスアーキテクチャ知識蒸留手法を提案する。 提案手法は, 種々の効率的な背骨に有意な改良を施し, 効率的な単分子深度推定の可能性を示した。
  論文  参考訳（メタデータ） (2024-04-25T07:55:47Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。