論文の概要: Diverse Image Priors for Black-box Data-free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2604.25794v1
• Date: Tue, 28 Apr 2026 16:02:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.937063
• Title: Diverse Image Priors for Black-box Data-free Knowledge Distillation
• Title（参考訳）: ブラックボックスデータフリーな知識蒸留のための多様な画像先行処理
• Authors: Tri-Nhan Vo, Dang Nguyen, Trung Le, Kien Do, Sunil Gupta,
• Abstract要約: 分散あるいはセキュアなAIエコシステムでは、プライバシ規制とプロプライエタリな関心事によって、教師のインターフェースやオリジナルのデータセットへのアクセスが制限されることが多い。 DIP-KD(Diverse Image Priors Knowledge Distillation)は,これらの課題に3段階のコラボレーティブパイプラインを通じて対処するフレームワークである。 我々の評価は、DIP-KDが最先端のパフォーマンスを達成することを示し、データ多様性を制限されたAI環境での知識獲得に不可欠であると確証している。
• 参考スコア（独自算出の注目度）: 26.477721699257817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) represents a vital mechanism to transfer expertise from complex teacher networks to efficient student models. However, in decentralized or secure AI ecosystems, privacy regulations and proprietary interests often restrict access to the teacher's interface and original datasets. These constraints define a challenging black-box data-free KD scenario where only top-1 predictions and no training data are available. While recent approaches utilize synthetic data, they still face limitations in data diversity and distillation signals. We propose Diverse Image Priors Knowledge Distillation (DIP-KD), a framework that addresses these challenges through a three-phase collaborative pipeline: (1) Synthesis of image priors to capture diverse visual patterns and semantics; (2) Contrast to enhance the collective distinction between synthetic samples via contrastive learning; and (3) Distillation via a novel primer student that enables soft-probability KD. Our evaluation across 12 benchmarks shows that DIP-KD achieves state-of-the-art performance, with ablations confirming data diversity as critical for knowledge acquisition in restricted AI environments.
• Abstract（参考訳）: 知識蒸留(KD)は、複雑な教師ネットワークから効率的な学生モデルへ専門知識を伝達する重要なメカニズムである。 しかしながら、分散あるいはセキュアなAIエコシステムでは、プライバシ規制とプロプライエタリな関心事によって、教師のインターフェースやオリジナルのデータセットへのアクセスが制限されることが多い。 これらの制約は、トップ1の予測とトレーニングデータしか利用できない、挑戦的なブラックボックスのデータフリーなKDシナリオを定義する。 最近の手法では合成データを利用するが、データ多様性と蒸留信号の制限に直面している。 1)多様な視覚的パターンやセマンティクスを捉えるための画像先行の合成,(2)コントラスト学習による合成サンプルの集合的区別を強化するためのコントラスト,(3)ソフトプロビタビリティKDを実現する新しいプライマー学生による蒸留,である。 12のベンチマークで評価したところ、DIP-KDは最先端のパフォーマンスを実現しており、制限されたAI環境での知識獲得にはデータの多様性が不可欠であることが確認されている。

関連論文リスト

• WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging [1.9316515057518757]
  Weakly-supervised Chain-based KD network that correctefines knowledge transfer through a structured sequence of connecteded model。 チェーン内の各モデルはデータセットのごく一部でトレーニングされ、最小限の監視で効果的な学習が達成できることを示す。 提案した蒸留鎖は、同じ限られたデータで訓練された単一のバックボーンに対して、累積精度が最大で23%向上した。
  論文  参考訳（メタデータ） (2025-10-16T13:22:51Z)
• Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation [7.195870730342018]
  我々は、データフリー知識蒸留(CPSC-DFKD)のための新しい学習パラダイム、すなわち条件付き擬似教師付きコントラストを提案する。 CPSC-DFKDの主な革新は,(1)擬似教師付き学習のためのカテゴリ固有の多様なイメージを合成するための条件付き生成対向ネットワークの導入,(2)異なるカテゴリの分布を識別するためのジェネレータのモジュールの改良,(3)教師と学生の視点に基づく擬似教師付きコントラスト学習の提案である。
  論文  参考訳（メタデータ） (2025-10-03T13:34:19Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• EvDistill: Asynchronous Events to End-task Learning via Bidirectional Reconstruction-guided Cross-modal Knowledge Distillation [61.33010904301476]
  イベントカメラは画素ごとの強度変化を感知し、ダイナミックレンジが高く、動きのぼやけが少ない非同期イベントストリームを生成する。 本稿では,bfEvDistillと呼ばれる新しい手法を提案し,未ラベルのイベントデータから学生ネットワークを学習する。 EvDistillは、イベントとAPSフレームのみのKDよりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-24T08:48:16Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。