論文の概要: CDFKD-MFS: Collaborative Data-free Knowledge Distillation via
Multi-level Feature Sharing
- arxiv url: http://arxiv.org/abs/2205.11845v1
- Date: Tue, 24 May 2022 07:11:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 12:35:33.380912
- Title: CDFKD-MFS: Collaborative Data-free Knowledge Distillation via
Multi-level Feature Sharing
- Title（参考訳）: CDFKD-MFS:多レベル特徴共有による協調的データフリー知識蒸留
- Authors: Zhiwei Hao, Yong Luo, Zhi Wang, Han Hu, Jianping An
- Abstract要約: マルチレベル特徴共有によるコラボレーティブなデータフリー知識蒸留というフレームワークを提案する。
提案されたフレームワークの精度は、CIFAR-100データセットでは1.18%、Caltechデータセットでは1.67%、mini-ImageNetデータセットでは2.99%である。
- 参考スコア（独自算出の注目度）: 24.794665141853905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the compression and deployment of powerful deep neural networks
(DNNs) on resource-limited edge devices to provide intelligent services have
become attractive tasks. Although knowledge distillation (KD) is a feasible
solution for compression, its requirement on the original dataset raises
privacy concerns. In addition, it is common to integrate multiple pretrained
models to achieve satisfactory performance. How to compress multiple models
into a tiny model is challenging, especially when the original data are
unavailable. To tackle this challenge, we propose a framework termed
collaborative data-free knowledge distillation via multi-level feature sharing
(CDFKD-MFS), which consists of a multi-header student module, an asymmetric
adversarial data-free KD module, and an attention-based aggregation module. In
this framework, the student model equipped with a multi-level feature-sharing
structure learns from multiple teacher models and is trained together with a
generator in an asymmetric adversarial manner. When some real samples are
available, the attention module adaptively aggregates predictions of the
student headers, which can further improve performance. We conduct extensive
experiments on three popular computer visual datasets. In particular, compared
with the most competitive alternative, the accuracy of the proposed framework
is 1.18\% higher on the CIFAR-100 dataset, 1.67\% higher on the Caltech-101
dataset, and 2.99\% higher on the mini-ImageNet dataset.
- Abstract（参考訳）: 近年、リソース制限されたエッジデバイス上での強力なディープニューラルネットワーク(DNN)の圧縮とデプロイにより、インテリジェントなサービスの提供が魅力的なタスクとなっている。
知識蒸留(KD)は圧縮のための実現可能なソリューションであるが、元のデータセットに対する要求はプライバシー上の懸念を提起する。
さらに,複数の事前学習モデルを統合することで,良好な性能を実現することが一般的である。
複数のモデルを小さなモデルに圧縮する方法は、特に元のデータが利用できない場合、難しい。
この課題に取り組むために,マルチレベル機能共有(cdfkd-mfs)と非対称逆データフリーkdモジュール,注意に基づく集約モジュールを組み合わせた,共同データフリー知識蒸留という枠組みを提案する。
この枠組みでは,複数レベルの特徴共有構造を備えた学生モデルは,複数の教師モデルから学習し,非対称な逆方向でジェネレータとともに訓練する。
実際のサンプルが利用可能になると、アテンションモジュールは学生ヘッダの予測を適応的に集約し、パフォーマンスをさらに向上させる。
我々は,人気のある3つのコンピュータビジュアルデータセットについて広範な実験を行う。
特に、最も競争力のある選択肢と比較して、提案されたフレームワークの精度は、CIFAR-100データセットでは1.18\%、Caltech-101データセットでは1.67\%、mini-ImageNetデータセットでは2.99\%である。
関連論文リスト
- Self-Regulated Data-Free Knowledge Amalgamation for Text Classification [9.169836450935724]
そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。
そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。
本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
論文 参考訳（メタデータ） (2024-06-16T21:13:30Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳（メタデータ） (2023-08-21T07:24:29Z) - Aggregating Intrinsic Information to Enhance BCI Performance through
Federated Learning [29.65566062475597]
不十分なデータは、高性能なディープラーニングモデルを構築するためのBCI(Brain-Computer Interface)にとって長年の課題である。
本稿では,この課題を克服するために,階層的に個別化したフェデレート学習脳波デコーディングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:59:44Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Model Composition: Can Multiple Neural Networks Be Combined into a
Single Network Using Only Unlabeled Data? [6.0945220518329855]
本稿では,ラベルなしデータを用いた複数のトレーニングニューラルネットワークの組み合わせについて検討する。
提案手法は, ラベルのないデータから収集した疑似ラベルの生成, フィルタリング, 集約を利用する。
本手法は任意のアーキテクチャとカテゴリを持つ任意の入力モデルの使用をサポートする。
論文 参考訳（メタデータ） (2021-10-20T04:17:25Z) - Online Ensemble Model Compression using Knowledge Distillation [51.59021417947258]
本稿では,学生アンサンブルからなる知識蒸留に基づくモデル圧縮フレームワークを提案する。
圧縮された各学生モデルに対して同時に学習したアンサンブル知識の蒸留を可能にする。
フレームワークの有効性を検証するために,最先端の分類モデルを用いた総合的な実験を行った。
論文 参考訳（メタデータ） (2020-11-15T04:46:29Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - Evaluation Framework For Large-scale Federated Learning [10.127616622630514]
フェデレーテッド・ラーニングは、携帯電話などの分散型エッジデバイスが協調して共有予測モデルを学習できるようにするための機械学習環境として提案されている。
本稿では,データセットとモジュール型評価フレームワークを生成するためのアプローチからなる,大規模フェデレーション学習のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-03T15:12:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。