論文の概要: FD-CanKD: Frequency-Decoupled Cross-Attention Distillation as a Refinement Prior for Compact Object Detectors
- arxiv url: http://arxiv.org/abs/2608.18590v1
- Date: Wed, 19 Aug 2026 06:32:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.307356
- Title: FD-CanKD: Frequency-Decoupled Cross-Attention Distillation as a Refinement Prior for Compact Object Detectors
- Title（参考訳）: FD-CanKD:小型物体検出器の微細化前における周波数分離型クロスアテンション蒸留
- Abstract要約: 周波数分離型クロスアテンション知識蒸留(FD-CanKD)は検出器指向のフレームワークとして提示される。
教師の知識を3つの相補的なレベル(頭部レベルの予測監督、関係レベルの非局所的文脈伝達、周波数レベルのコンポーネント選択アライメント)で伝達する。
このフレームワークは, 制御されたYOLOv12教師学生設定において, 代表的コンパクト・検出器ケーススタディとしてインスタンス化され, 評価される。
- 参考スコア（独自算出の注目度）: 0.7734726150561086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compact object detectors are suitable for resource-constrained visual perception, but their limited representation capacity creates an accuracy gap relative to large models. Conventional detector distillation often relies on prediction-level supervision or a single feature-alignment target, such as response, distribution, correlation, or frequency-domain matching. Frequency-Decoupled Cross-Attention Knowledge Distillation (FD-CanKD) is presented as a detector-oriented framework that transfers teacher knowledge at three complementary levels: head-level prediction supervision, relation-level non-local context transfer, and frequency-level component-selective alignment. Student features first aggregate teacher-side spatial context through cross-attention-based relation transfer, after which frequency-aware alignment preserves complementary structural and detail-sensitive cues. Under controlled Microsoft Common Objects in Context (COCO) experiments, fixed 50-epoch from-scratch comparisons show that FD-CanKD remains competitive with representative detector knowledge distillation baselines. Post-distillation continued fine-tuning further produces a stronger refinement-ready student than detector-only fine-tuning, reaching 48.87 mean average precision (mAP) at intersection-over-union thresholds from 0.50 to 0.95 (mAP50:95), 65.84 mAP50, and 53.40 mAP75 after 20 additional epochs. All distillation modules are removed after training, leaving the deployed student unchanged at 19.7M parameters. The framework is instantiated and evaluated in a controlled YOLOv12 teacher-student setting as a representative compact-detector case study.
- Abstract（参考訳）: コンパクト物体検出器は、資源制約された視覚知覚に適しているが、その限られた表現能力は、大きなモデルに対して精度のギャップを生じさせる。
従来の検出器蒸留は、しばしば予測レベルの監督や、応答、分布、相関、周波数領域マッチングのような単一の特徴調整ターゲットに依存している。
周波数分離型クロスアテンション知識蒸留(FD-CanKD)は、教師の知識を3つの相補的なレベル(頭部レベルの予測監督、関係レベルの非局所的文脈伝達、周波数レベルのコンポーネント選択アライメント)で伝達する検出器指向のフレームワークとして提示される。
学生は、教師側の空間的コンテキストを横断的アテンションに基づく関係伝達を通じて集約し、その後、周波数認識アライメントは相補的構造とディテールに敏感な手がかりを保持する。
制御された Microsoft Common Objects in Context (COCO) 実験の下では、FD-CanKD は一般的な検出器の知識蒸留ベースラインと競合し続けている。
蒸留後の微調整により、検出器のみの微調整よりも改良が進んだ学生は48.87の平均的平均精度(mAP)を0.50から0.95(mAP50:95)、65.84 mAP50、53.40 mAP75に到達した。
全ての蒸留モジュールは訓練後に取り除かれ、配備された学生は19.7Mパラメータで変化しない。
このフレームワークは, 制御されたYOLOv12教師学生設定において, 代表的コンパクト・検出器ケーススタディとしてインスタンス化され, 評価される。
関連論文リスト
- From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。
本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
論文 参考訳（メタデータ） (2026-09-06T05:43:22Z) - Differentiable Interval Bottlenecks for Interpretable Anomaly Detection in Numerical Data [0.5213778368155993]
DIFFINTは、遅延ボトルネックがソフトな軸方向のインターバルメンバシップのセットとして構成されるオートエンコーダである。
統計的にタイトされた7つの方法のリードクラスターの中で唯一の解釈可能な検出器である。
論文 参考訳（メタデータ） (2026-09-03T14:05:27Z) - Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning [80.73561460934809]
多モード物体追跡は 相補的なセンサーデータを活用することで 目覚ましい堅牢性を達成した
我々は予測ヘッドを重要ではあるが、しばしば見過ごされる効率ボトルネックとみなしている。
デコーダアーキテクチャを戦略的に合理化することで、リアルタイム推論の可能性を解き放ちます。
論文 参考訳（メタデータ） (2026-08-02T20:41:33Z) - CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。
我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。
1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
論文 参考訳（メタデータ） (2026-06-20T10:33:14Z) - Lightweight SAR Ship Detection via Contrastive Distillation [0.19116784879310023]
本研究は,SARドメインにおけるトランスフォーマーをベースとしたSAR船の知識蒸留フレームワークを提案する。
このフレームワークは、2段階の1段および変圧器ベースの検出器のための共通領域レベルの蒸留インターフェースを提供するという意味で、アーキテクチャに依存しない。
SSDD と HRSID のベンチマーク実験により,提案手法により2段検出器の大幅な改良が得られた。
論文 参考訳（メタデータ） (2026-05-27T21:57:28Z) - Relation DETR: Exploring Explicit Position Relation Prior for Object Detection [26.03892270020559]
本稿では,DETR(Detection TRansformer)の収束性と性能を向上させる手法を提案する。
我々の手法であるRelation-DETRは、プログレッシブ・アテンション・リファインメントのための位置関係埋め込みを構築するエンコーダを導入している。
汎用データセットとタスク固有のデータセットの両方の実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-07-16T13:17:07Z) - CrossKD: Cross-Head Knowledge Distillation for Object Detection [69.16346256926842]
知識蒸留(KD)は、コンパクト物体検出器の学習に有効なモデル圧縮技術として検証されている。
そこで本研究では,学生の検知ヘッドの中間的特徴を教師の検知ヘッドに伝達する,CrossKDと呼ばれる蒸留方式を模倣する予測手法を提案する。
われわれのCrossKDはGFL ResNet-50の平均精度を40.2から43.7に向上させ、既存のKD手法を上回ります。
論文 参考訳（メタデータ） (2023-06-20T08:19:51Z) - Recurrent Glimpse-based Decoder for Detection with Transformer [85.64521612986456]
本稿では,Recurrent Glimpse-based deoder (REGO)について紹介する。
特に、REGOは多段階のリカレント処理構造を用いて、DETRの注目が徐々に前景オブジェクトに焦点を合わせるのを助ける。
REGOは、異なるDETR検出器の性能を最大7%向上させる。
論文 参考訳（メタデータ） (2021-12-09T00:29:19Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-08-17T07:44:27Z) - End-to-End Semi-Supervised Object Detection with Soft Teacher [63.26266730447914]
本稿では,従来の複雑な多段階法とは対照的に,終端から終端までの半教師付き物体検出手法を提案する。
提案手法は, 種々のラベル付け比において, 従来手法よりも大きなマージンで性能を向上する。
最先端のSwin Transformerベースの物体検出器では、検出精度を+1.5 mAPで大幅に向上させることができる。
論文 参考訳（メタデータ） (2021-06-16T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。