論文の概要: Mapping Emulation for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2205.10490v1
• Date: Sat, 21 May 2022 02:38:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 14:18:26.752446
• Title: Mapping Emulation for Knowledge Distillation
• Title（参考訳）: 知識蒸留のためのマッピングエミュレーション
• Authors: Jing Ma, Xiang Xiang, Zihan Zhang, Yuwen Tan, Yiming Wan, Zhigang Zeng, Dacheng Tao
• Abstract要約: 本稿では,フェデレーション学習に不可欠なソース・ブラインド知識蒸留問題の定式化を行う。 新しいアーキテクチャMEKDを提案する。 様々なベンチマークにおいて、MEKDは既存のソースブレンドKD法より優れている。
• 参考スコア（独自算出の注目度）: 94.20630785525732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper formalizes the source-blind knowledge distillation problem that is essential to federated learning. A new geometric perspective is presented to view such a problem as aligning generated distributions between the teacher and student. With its guidance, a new architecture MEKD is proposed to emulate the inverse mapping through generative adversarial training. Unlike mimicking logits and aligning logit distributions, reconstructing the mapping from classifier-logits has a geometric intuition of decreasing empirical distances, and theoretical guarantees using the universal function approximation and optimal mass transportation theories. A new algorithm is also proposed to train the student model that reaches the teacher's performance source-blindly. On various benchmarks, MEKD outperforms existing source-blind KD methods, explainable with ablation studies and visualized results.
• Abstract（参考訳）: 本稿では, 連関学習に欠かせない情報源盲点の知識蒸留問題を定式化する。 教師と生徒の間に生成された分布を整合させるような,新たな幾何学的視点が提示される。 新たなアーキテクチャMEKDが提案され, 生成的対角学習による逆写像をエミュレートする。 ロジットの模倣やロジット分布の整列とは異なり、分類器-ロジットからの写像の再構成は経験的距離を減少させる幾何学的直観を持ち、普遍関数近似と最適質量輸送理論を用いて理論的に保証される。 また,教師のパフォーマンス源となる学生モデルを学習するための新しいアルゴリズムも提案されている。 様々なベンチマークにおいて、MEKDは既存のソースブレンドKD法よりも優れており、アブレーション研究と視覚化結果で説明できる。

関連論文リスト

• Multi-Level Decoupled Relational Distillation for Heterogeneous Architectures [6.231548250160585]
  MLDR-KD(Multi-Level Decoupled Knowledge Distillation)は、CodeAR-100で最大4.86%、Tiny-ImageNetデータセットで2.78%向上した。
  論文  参考訳（メタデータ） (2025-02-10T06:41:20Z)
• Inverse Bridge Matching Distillation [69.479483488685]
  拡散ブリッジモデル(DBMs)は、画像から画像への変換に応用するための拡散モデルの有望な拡張である。 本稿では, 逆橋整合式に基づく新しい蒸留技術を提案し, 実際に解決するための抽出可能な目的を導出する。 我々は,超解像,JPEG復元,スケッチ・トゥ・イメージ,その他のタスクを含む,広範囲のセットアップにおいて,条件付きおよび非条件付きブリッジマッチングのアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-03T13:56:03Z)
• Dynamic Contrastive Knowledge Distillation for Efficient Image Restoration [17.27061613884289]
  画像復元のための動的コントラスト知識蒸留(DCKD)フレームワークを提案する。 具体的には,学生の学習状態を知覚するために,動的コントラスト正規化を導入する。 また,教師モデルと学生モデルの画素レベルのカテゴリ分布を抽出・調整する分布マッピングモジュールを提案する。
  論文  参考訳（メタデータ） (2024-12-12T05:01:17Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
  両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。 本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
  論文  参考訳（メタデータ） (2022-05-18T18:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。