論文の概要: Close Shortcut Wins Long: Seeking Diverse and Stable Generators for Data-Free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2608.22003v1
• Date: Sat, 22 Aug 2026 15:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.554518
• Title: Close Shortcut Wins Long: Seeking Diverse and Stable Generators for Data-Free Knowledge Distillation
• Title（参考訳）: 近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近
• Authors: Kailin Lyu, Zherui Zhang, Junhao Dong, Kexue Fu, Weiguang Pang, Rongtao Xu, Qizheng Wang, Di Wu, Chee-Keong Kwoh, Longxiang Gao, Shibiao Xu, Changwei Wang, Ce Hao, Yu Zhang,
• Abstract要約: Data-Free Knowledge Distillation (DFKD)は、実際のデータアクセスなしで知識を転送することでプライバシを保存する。 既存のジェネレータベースのDFKD手法は教師の好みやパターンの崩壊に過度に依存している。 本稿では,周波数領域の観点からの洞察の導入を目的としたCSWLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.47196155606622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-Free Knowledge Distillation (DFKD) preserves privacy by transferring knowledge without real data access. However, existing generator-based DFKD methods suffer from over-reliance on teacher preferences and pattern collapse, exhibiting "generative shortcut learning" in the frequency domain: dependent on specific frequency components and frequency positions, resulting in inconsistent synthetic image quality and class diversity. In this paper, we propose a CSWL framework aimed at introducing insights from the frequency domain perspective to improve generator diversity and training stability to Close the phenomenon of Shortcut learning to Win in the Longer term. To address the issue of generative shortcut learning, we introduce frequency-domain augmentation at the feature level, encouraging the generator to attend to the full frequency spectrum and thereby suppress shortcut learning behavior. To tackle training instability, we propose a Cross-Stage Frequency Reconstruction (CSFR) auxiliary task, which implicitly constructs an Exponential Moving Average (EMA) mechanism to promote long-term optimization and stability. Extensive experiments, including downstream tasks and various image recognition datasets at multiple resolutions, validate the effectiveness of CSWL in improving both diversity and stability from the frequency view.
• Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は、実際のデータアクセスなしで知識を転送することでプライバシを保存する。 しかし、既存のジェネレータベースのDFKD手法は教師の好みやパターンの崩壊に過度に依存しており、特定の周波数成分と周波数位置に依存する「生成的ショートカット学習」が周波数領域に現れる。 本稿では,周波数領域の観点からの洞察の導入を目的としたCSWLフレームワークを提案する。 生成的ショートカット学習の課題に対処するため、我々は特徴レベルにおいて周波数領域拡張を導入し、生成元が全周波数スペクトルに参加することを奨励し、これによりショートカット学習行動を抑制する。 トレーニング不安定性に対処するために,長期的最適化と安定性を促進するために,指数移動平均(EMA)機構を暗黙的に構築するCSFR補助タスクを提案する。 複数の解像度で下流タスクや様々な画像認識データセットを含む大規模な実験は、周波数ビューから多様性と安定性の両方を改善するためのCSWLの有効性を検証する。

関連論文リスト

• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
  時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。 本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。 FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-26T08:36:33Z)
• FreRA: A Frequency-Refined Augmentation for Contrastive Learning on Time Series Classification [56.925103708982164]
  周波数領域からの新たな視点を示し、ダウンストリーム分類の利点として、グローバル、独立、コンパクトの3つを識別する。 本稿では,分類タスクにおける時系列のコントラスト学習に適した,軽量で効果的な周波数補充拡張(FreRA)を提案する。 FreRAは、時系列分類、異常検出、転送学習タスクにおいて、常に10つの主要なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-05-29T07:18:28Z)
• Continual Learning in the Frequency Domain [22.415936450558334]
  周波数領域における連続学習(CLFD)と呼ばれる新しいフレームワークを提案する。 特徴抽出器の入力特徴について、CLFDはウェーブレット変換を用いて元の入力画像を周波数領域にマッピングする。 クラウド環境とエッジ環境の両方で実施された実験により、CLFDは精度とトレーニング効率の両方において、最先端(SOTA)手法の性能を一貫して改善することが示された。
  論文  参考訳（メタデータ） (2024-10-09T07:57:47Z)
• Exploring Cross-Domain Few-Shot Classification via Frequency-Aware Prompting [37.721042095518044]
  クロスドメインなFew-Shot Learningはメタラーニングの発展に大きく貢献している。 本稿では,相互に注意を向けた周波数対応プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:14:09Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。