論文の概要: Learnable Instance Attention Filtering for Adaptive Detector Distillation

• arxiv url: http://arxiv.org/abs/2603.26088v1
• Date: Fri, 27 Mar 2026 05:37:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.361691
• Title: Learnable Instance Attention Filtering for Adaptive Detector Distillation
• Title（参考訳）: 適応型検出器蒸留のための学習型インスタンスアテンションフィルタ
• Authors: Chen Liu, Qizhen Lan, Zhicheng Ding, Xinyu Chu, Qing Tian,
• Abstract要約: 適応型検出器蒸留(LIAF-KD)のための学習型インスタンス注意フィルタを提案する。 LIAF-KDは、蒸留中のインスタンスの重要性を動的に評価し、再重み付けするための学習可能なセレクタを導入している。 KITTIとCOCOデータセットの実験では、GFL ResNet-50の学生が複雑性を増すことなく2%向上した、一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 2.963134643507386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep vision models grow increasingly complex to achieve higher performance, deployment efficiency has become a critical concern. Knowledge distillation (KD) mitigates this issue by transferring knowledge from large teacher models to compact student models. While many feature-based KD methods rely on spatial filtering to guide distillation, they typically treat all object instances uniformly, ignoring instance-level variability. Moreover, existing attention filtering mechanisms are typically heuristic or teacher-driven, rather than learned with the student. To address these limitations, we propose Learnable Instance Attention Filtering for Adaptive Detector Distillation (LIAF-KD), a novel framework that introduces learnable instance selectors to dynamically evaluate and reweight instance importance during distillation. Notably, the student contributes to this process based on its evolving learning state. Experiments on the KITTI and COCO datasets demonstrate consistent improvements, with a 2% gain on a GFL ResNet-50 student without added complexity, outperforming state-of-the-art methods.
• Abstract（参考訳）: 高いパフォーマンスを達成するために、深いビジョンモデルがますます複雑化するにつれて、デプロイメントの効率性は重要な関心事になっている。 知識蒸留(KD)は、大きな教師モデルからコンパクトな学生モデルに知識を移すことによってこの問題を緩和する。 多くの特徴に基づくKD法は、蒸留を導くために空間フィルタリングに依存しているが、通常、全てのオブジェクトのインスタンスを一様に扱い、インスタンスレベルの変動を無視する。 さらに、既存の注意フィルタリングメカニズムは、学生に学ぶのではなく、主にヒューリスティックまたは教師主導である。 これらの制約に対処するため, 蒸留中のインスタンス重要度を動的に評価し, 再重み付けするための学習可能なインスタンスセレクタを導入した新しいフレームワークである, LIAF-KD (Learnerable Instance Attention Filtering for Adaptive Detector Distillation) を提案する。 特に、学生は、その進化する学習状態に基づいて、このプロセスに貢献する。 KITTIとCOCOデータセットの実験は、GFL ResNet-50の学生が複雑さを増さずに2%向上し、一貫した改善を示している。

関連論文リスト

• LLM-Oriented Token-Adaptive Knowledge Distillation [64.08412563818662]
  本稿では,各トークンのリアルタイム学習状態に蒸留プロセスを適用する新しいフレームワークを提案する。 AdaKDは、2つの相乗的加群からなる。 プラグアンドプレイフレームワークとして、AdaKDは複数のモデルアーキテクチャやベンチマーク上で様々な蒸留方法の性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T16:55:07Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• ACAM-KD: Adaptive and Cooperative Attention Masking for Knowledge Distillation [2.7624021966289605]
  ACAM-KDは蒸留プロセス全体を通して学生の要求に適応する。 これにより、最先端技術よりも1.4mAPまでのオブジェクト検出性能が向上する。 Cityscapesのセマンティックセグメンテーションでは、ベースライン上でmIoUを3.09アップする。
  論文  参考訳（メタデータ） (2025-03-08T18:51:53Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Adaptive Instance Distillation for Object Detection in Autonomous Driving [3.236217153362305]
  本稿では,教師の知識を学生に選択的に付与し,知識蒸留の性能を向上させるための適応型インスタンス蒸留(AID)を提案する。 また,AIDは教師モデルの性能向上に有効であることが示された。
  論文  参考訳（メタデータ） (2022-01-26T18:06:33Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。