論文の概要: UniDFKD: A Unified Semantic Prior Framework for Architecture-Agnostic Data-Free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2608.09287v1
• Date: Mon, 10 Aug 2026 08:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.164815
• Title: UniDFKD: A Unified Semantic Prior Framework for Architecture-Agnostic Data-Free Knowledge Distillation
• Title（参考訳）: UniDFKD: アーキテクチャに依存しない知識蒸留のための統一されたセマンティック事前フレームワーク
• Abstract要約: Data-Free Knowledge Distillation (DFKD) は、教師モデルから、意味的な情報的データを合成することによって、よりコンパクトな学生モデルに知識を伝達する。 emphUniDFKDは、アーキテクチャ固有の統計を明示的、アーキテクチャ的な前提に置き換える。 UniDFKDは、同質な設定と異質な設定の両方において、平均20%以上の絶対的なマージンで既存の手法よりも優れた新しい最先端の手法を確立している。
• 参考スコア（独自算出の注目度）: 9.416706506730074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-Free Knowledge Distillation (DFKD) transfers knowledge from a pretrained teacher model to a compact student model by synthesizing semantically informative data, eliminating the need for access to the original training dataset. Existing DFKD methods rely heavily on architecture-specific statistical priors (e.g., Batch Normalization statistics) to guide data synthesis, however, such architecture-dependent priors are often absent in modern architectures such as Vision Transformers (ViTs), resulting in degraded semantic quality of the synthesized data and consequently catastrophic performance degradation. In this paper, we propose \emph{UniDFKD}, a unified data-free knowledge distillation framework that replaces architecture-specific statistics with explicit, architecture-agnostic semantic priors. \emph{UniDFKD} governs the entire synthesis-distillation pipeline along three dimensions: (1) Categorical Semantic Conditioning (CSC) defines \emph{what} to synthesize by persistently modulating the generator with language-derived embeddings to capture semantic diversity; (2) Spatial Semantic Anchoring (SSA) dictates \emph{where} evidence belongs by anchoring the teacher's spatial attributions to a Gaussian prior; and (3) Spatial Semantic Distillation (SSD) controls \emph{how} knowledge is transferred by explicitly aligning teacher-student spatial evidence alongside predictions. Extensive experiments across CNNs and ViTs demonstrate that UniDFKD establishes a new state-of-the-art, outperforming existing methods by an average absolute margin of over 20\% in both homogeneous and heterogeneous settings.
• Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は、事前訓練された教師モデルから、意味的な情報的データを合成し、元のトレーニングデータセットにアクセスする必要をなくし、コンパクトな学生モデルに知識を伝達する。 既存のDFKD法は、データ合成を導くために、アーキテクチャ固有の統計的先行(例えばバッチ正規化統計)に大きく依存しているが、視覚変換器(ViT)のような近代的なアーキテクチャでは、そのようなアーキテクチャに依存した先行は欠落しており、結果として合成されたデータのセマンティックな品質が劣化し、破滅的な性能が劣化する。 本稿では,アーキテクチャ固有の統計を明示的,アーキテクチャに依存しないセマンティックオーディエンスに置き換える,統一されたデータフリーな知識蒸留フレームワークである \emph{UniDFKD} を提案する。 セマンティック・コンディショニング (CSC) では, セマンティック・コンディショニング (CSC) では, セマンティック・コンディショニング (CSC) では, ジェネレータを言語由来の埋め込みで永続的に調整し, セマンティック・多様性を捉えること, 空間セマンティック・アンチョリング (SSA) では, 教師の空間属性をガウス以前のガウスに固定すること, (3) 空間セマンティック・インスティテュレーション (SSD) では, 教師の空間的エビデンスを, 予測とともに明示的に調整することで, セマンティック・インスティテュレーションの知識を伝達する。 CNNとViTの広範な実験により、UniDFKDは、同種および異種両方の設定において、平均20倍以上の絶対マージンで既存の手法よりも優れた新しい最先端の手法を確立していることが示されている。

関連論文リスト

• SSC-Priors: Exploring Semantic and Visibility Priors to Boost Lidar Semantic Scene Completion [61.665449818739155]
  本稿では,ライダー・セマンティック・シーン・コンプリート(SSC)のための既存ネットワークの性能向上戦略について検討する。 我々は、既存のアプローチを改善するために、意味的な擬似ラベルとセンサ可視情報を使用する。 そこで本研究では,既成のSSCモデルの性能を著しく向上させ,意味的な擬似ラベルを用いた入力点雲の実現について述べる。
  論文  参考訳（メタデータ） (2026-09-15T16:37:46Z)
• Entropy-Aware Structural Alignment for Zero-Shot Handwritten Chinese Character Recognition [7.632962062462334]
  ゼロショット手書き漢字認識は、急進的な意味合成を活用することで、目に見えない文字を認識することを目的としている。 本稿では,情報理論モデリングにより視覚と意味のギャップを埋めるエントロピー対応構造アライメントネットワークを提案する。 ICDAR 2013データセットで55.04%の精度を達成し,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-03T16:08:40Z)
• Seeing the Whole Picture: Distribution-Guided Data-Free Distillation for Semantic Segmentation [2.314355984893946]
  本稿では,セマンティックセグメンテーションに適した新しいデータフリー蒸留フレームワークDFSSを紹介する。 画素を独立に扱う従来のアプローチとは異なり、DFSSは現実世界のシーンの構造的・文脈的連続性を尊重する。 我々の重要な洞察は、教師モデルからのバッチ正規化(BN)統計を活用して、近似分布サンプリング(ADS)をガイドすることである。
  論文  参考訳（メタデータ） (2025-12-15T10:37:05Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• SynthGenNet: a self-supervised approach for test-time generalization using synthetic multi-source domain mixing of street view images [8.23277995673829]
  テスト時間領域の堅牢な一般化を実現するための自己教師型学生-教員アーキテクチャであるSynthGenNetを紹介する。 私たちのコントリビューションには、さまざまな合成ソースからラベル付きデータをブレンドする新しいClassMix++アルゴリズムが含まれています。 実世界のデータセット上で50%の平均区間-Over-Union(mIoU)値を達成することにより、私たちのモデルは最先端(単一ソースで参照)よりも優れています。
  論文  参考訳（メタデータ） (2025-09-02T13:08:03Z)
• Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation [45.347078403677216]
  大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T07:47:18Z)
• TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation [50.23504065567638]
  本稿では,メタラーニングフレームワークにおける textbfDataset textbfDistillation 手法である textbfTD3 を紹介する。 TD3は、オリジナルのデータから完全に表現力のある合成配列の要約を蒸留する。 拡張技術により、学習者は合成要約を忠実に適合させ、アンプループでの正確な更新を確実にすることができる。
  論文  参考訳（メタデータ） (2025-02-05T03:13:25Z)
• ORIGAMI: A generative transformer architecture for predictions from semi-structured data [3.5639148953570836]
  ORIGAMIは、ネストされたキー/バリューペアを処理するトランスフォーマーベースのアーキテクチャである。 分類を次点予測として再構成することで、ORIGAMIはシングルラベルとマルチラベルの両方のタスクを自然に処理する。
  論文  参考訳（メタデータ） (2024-12-23T07:21:17Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。