論文の概要: Aligning Logits Generatively for Principled Black-Box Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2205.10490v2
• Date: Sat, 30 Mar 2024 08:52:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 16:23:34.908192
• Title: Aligning Logits Generatively for Principled Black-Box Knowledge Distillation
• Title（参考訳）: 原理的ブラックボックス知識蒸留のための論理生成の調整
• Authors: Jing Ma, Xiang Xiang, Ke Wang, Yuchuan Wu, Yongbin Li,
• Abstract要約: Black-Box Knowledge Distillation (B2KD)は、クラウドからエッジへのモデル圧縮において、サーバ上にホストされる見えないデータとモデルによって定式化された問題である。 民営化と蒸留による2段階のワークフローを形式化する。 そこで本研究では,ブラックボックスの煩雑なモデルを軽量に蒸留するKD (MEKD) を新たに提案する。
• 参考スコア（独自算出の注目度）: 49.43567344782207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-Box Knowledge Distillation (B2KD) is a formulated problem for cloud-to-edge model compression with invisible data and models hosted on the server. B2KD faces challenges such as limited Internet exchange and edge-cloud disparity of data distributions. In this paper, we formalize a two-step workflow consisting of deprivatization and distillation, and theoretically provide a new optimization direction from logits to cell boundary different from direct logits alignment. With its guidance, we propose a new method Mapping-Emulation KD (MEKD) that distills a black-box cumbersome model into a lightweight one. Our method does not differentiate between treating soft or hard responses, and consists of: 1) deprivatization: emulating the inverse mapping of the teacher function with a generator, and 2) distillation: aligning low-dimensional logits of the teacher and student models by reducing the distance of high-dimensional image points. For different teacher-student pairs, our method yields inspiring distillation performance on various benchmarks, and outperforms the previous state-of-the-art approaches.
• Abstract（参考訳）: Black-Box Knowledge Distillation (B2KD)は、クラウドからエッジへのモデル圧縮において、サーバ上にホストされる見えないデータとモデルによって定式化された問題である。 B2KDは、インターネット交換の制限や、データ分散のエッジクラウド格差といった課題に直面している。 本稿では, 減量化と蒸留による2段階のワークフローを形式化し, 理論上, 直接ロジットアライメントとは異なるロジットからセル境界への新たな最適化方向を提供する。 そこで本研究では, ブラックボックスの煩雑なモデルを軽量に蒸留するKD (MEKD) を新たに提案する。 我々の手法は、ソフトレスポンスとハードレスポンスを区別せず、以下の2つから構成される。 1)民営化:教師機能の逆マッピングをジェネレータでエミュレートし、 2)蒸留:高次元画像点の距離を小さくすることで教師と学生モデルの低次元ロジットを整列させる。 教師と学生のペアが異なる場合, 様々なベンチマークで蒸留性能が向上し, 従来の最先端手法よりも優れていた。

関連論文リスト

• Multi-Level Decoupled Relational Distillation for Heterogeneous Architectures [6.231548250160585]
  MLDR-KD(Multi-Level Decoupled Knowledge Distillation)は、CodeAR-100で最大4.86%、Tiny-ImageNetデータセットで2.78%向上した。
  論文  参考訳（メタデータ） (2025-02-10T06:41:20Z)
• Inverse Bridge Matching Distillation [69.479483488685]
  拡散ブリッジモデル(DBMs)は、画像から画像への変換に応用するための拡散モデルの有望な拡張である。 本稿では, 逆橋整合式に基づく新しい蒸留技術を提案し, 実際に解決するための抽出可能な目的を導出する。 我々は,超解像,JPEG復元,スケッチ・トゥ・イメージ,その他のタスクを含む,広範囲のセットアップにおいて,条件付きおよび非条件付きブリッジマッチングのアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-03T13:56:03Z)
• Dynamic Contrastive Knowledge Distillation for Efficient Image Restoration [17.27061613884289]
  画像復元のための動的コントラスト知識蒸留(DCKD)フレームワークを提案する。 具体的には,学生の学習状態を知覚するために,動的コントラスト正規化を導入する。 また,教師モデルと学生モデルの画素レベルのカテゴリ分布を抽出・調整する分布マッピングモジュールを提案する。
  論文  参考訳（メタデータ） (2024-12-12T05:01:17Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
  両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。 本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
  論文  参考訳（メタデータ） (2022-05-18T18:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。