論文の概要: FreeKD: Knowledge Distillation via Semantic Frequency Prompt
- arxiv url: http://arxiv.org/abs/2311.12079v2
- Date: Wed, 22 May 2024 13:43:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-26 20:04:03.433479
- Title: FreeKD: Knowledge Distillation via Semantic Frequency Prompt
- Title（参考訳）: FreeKD:Semantic Frequency Promptによる知識蒸留
- Authors: Yuan Zhang, Tao Huang, Jiaming Liu, Tao Jiang, Kuan Cheng, Shanghang Zhang,
- Abstract要約: 周波数蒸留における最適な局所化と範囲を決定するための周波数知識蒸留法をFreeKDとして提案する。
また,高密度予測タスクに対して位置認識型リレーショナル周波数損失を用い,高次空間拡張を学生モデルに提供する。
- 参考スコア（独自算出の注目度）: 33.28298466424745
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Knowledge distillation (KD) has been applied to various tasks successfully, and mainstream methods typically boost the student model via spatial imitation losses. However, the consecutive downsamplings induced in the spatial domain of teacher model is a type of corruption, hindering the student from analyzing what specific information needs to be imitated, which results in accuracy degradation. To better understand the underlying pattern of corrupted feature maps, we shift our attention to the frequency domain. During frequency distillation, we encounter a new challenge: the low-frequency bands convey general but minimal context, while the high are more informative but also introduce noise. Not each pixel within the frequency bands contributes equally to the performance. To address the above problem: (1) We propose the Frequency Prompt plugged into the teacher model, absorbing the semantic frequency context during finetuning. (2) During the distillation period, a pixel-wise frequency mask is generated via Frequency Prompt, to localize those pixel of interests (PoIs) in various frequency bands. Additionally, we employ a position-aware relational frequency loss for dense prediction tasks, delivering a high-order spatial enhancement to the student model. We dub our Frequency Knowledge Distillation method as FreeKD, which determines the optimal localization and extent for the frequency distillation. Extensive experiments demonstrate that FreeKD not only outperforms spatial-based distillation methods consistently on dense prediction tasks (e.g., FreeKD brings 3.8 AP gains for RepPoints-R50 on COCO2017 and 4.55 mIoU gains for PSPNet-R18 on Cityscapes), but also conveys more robustness to the student. Notably, we also validate the generalization of our approach on large-scale vision models (e.g., DINO and SAM).
- Abstract（参考訳）: 知識蒸留(KD)は様々なタスクにうまく適用され、主流の手法は一般に、空間的模倣の損失を通じて学生モデルを強化する。
しかし、教師モデルの空間領域で引き起こされる連続的なダウンサンプリングは汚職の一種であり、学生がどの情報を模倣する必要があるかを分析するのを妨げ、精度が低下する。
劣化した特徴写像の根底にあるパターンをよりよく理解するために、我々は周波数領域に注意を移す。
周波数蒸留では、低周波帯は一般的だが最小の文脈を伝達し、ハイはより情報的だがノイズも導入する、という新しい課題に直面している。
周波数帯域内の各ピクセルは、その性能に等しく寄与するわけではない。
上記の問題に対処するために,(1)教師モデルに挿入された周波数プロンプトを提案し,微調整中に意味周波数コンテキストを吸収する。
2) 蒸留期間中, 周波数プロンプトにより, 種々の周波数帯において, それらの興味(PoIs) を局在させるために, 画素ワイドの周波数マスクが生成される。
さらに,高密度な予測タスクに対して位置認識型リレーショナル周波数損失を用い,高次空間拡張を学生モデルに提供する。
我々は、周波数蒸留における最適な位置化と範囲を決定するために、周波数知識蒸留法をFreeKDとして用いた。
大規模な実験では、FreeKDは密集予測タスクで空間ベースの蒸留法を一貫して上回るだけでなく(例えば、COCO2017ではRepPoints-R50で3.8AP、Cityscapesでは4.55mIoUで4.55mIoU)、学生により堅牢性を与える。
また,大規模視覚モデル(例えば,DINO,SAM)へのアプローチの一般化を検証した。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - What do neural networks learn in image classification? A frequency
shortcut perspective [3.9858496473361402]
本研究では,ニューラルネットワーク(NN)における周波数ショートカットの学習力学を実験的に研究する。
NNは、分類のための単純な解を見つける傾向があり、訓練中に最初に何を学ぶかは、最も特徴的な周波数特性に依存する。
本稿では,クラスワイズ周波数特性を測定するための指標と,周波数ショートカットの同定方法を提案する。
論文 参考訳（メタデータ） (2023-07-19T08:34:25Z) - Knowledge Diffusion for Distillation [53.908314960324915]
知識蒸留(KD)における教師と学生の表現ギャップ
これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。
DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
論文 参考訳（メタデータ） (2023-05-25T04:49:34Z) - FreGAN: Exploiting Frequency Components for Training GANs under Limited
Data [3.5459430566117893]
限られたデータの下でのGANのトレーニングは、しばしば差別者が過度に適合し、記憶する問題を引き起こす。
本稿では、FreGANを提案する。FreGANは、モデルの周波数認識を高め、高周波信号の生成により多くの注意を払っている。
実画像と生成画像の両方の周波数情報を活用することに加えて、実画像の周波数信号を自己監督的制約として含む。
論文 参考訳（メタデータ） (2022-10-11T14:02:52Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-27T14:25:52Z) - Wavelet Knowledge Distillation: Towards Efficient Image-to-Image
Translation [22.841122397104265]
本稿では,周波数から見たGANの性能について検討する。
その結果, GAN, 特に小型 GAN は高品質な高周波情報を生成できないことがわかった。
本稿ではウェーブレット知識蒸留と呼ばれる新しい知識蒸留法を提案する。
論文 参考訳（メタデータ） (2022-03-12T02:42:04Z) - WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。
実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
論文 参考訳（メタデータ） (2020-10-29T17:16:59Z) - Robust Learning with Frequency Domain Regularization [1.370633147306388]
モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。
本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
論文 参考訳（メタデータ） (2020-07-07T07:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。