論文の概要: Sampling to Distill: Knowledge Transfer from Open-World Data
- arxiv url: http://arxiv.org/abs/2307.16601v1
- Date: Mon, 31 Jul 2023 12:05:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 14:39:49.091510
- Title: Sampling to Distill: Knowledge Transfer from Open-World Data
- Title(参考訳): Smpling to Distill: オープンワールドデータからの知識伝達
- Authors: Yuzheng Wang, Zhaoyu Chen, Jie Zhang, Dingkang Yang, Zuhao Ge, Yang
Liu, Siao Liu, Yunquan Sun, Wenqiang Zhang and Lizhe Qi
- Abstract要約: DFKDは,教師ネットワークのみを用いた高性能学生モデルのトレーニングを,本来のトレーニングデータなしで行うことを目的としている。
既存のDFKD法は計算コストの高い生成モジュールに大きく依存している。
冗長な生成過程を伴わない新しいオープンワールドデータサンプリング蒸留法(ODSD)を提案する。
- 参考スコア(独自算出の注目度): 16.01814950074894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-Free Knowledge Distillation (DFKD) is a novel task that aims to train
high-performance student models using only the teacher network without original
training data. Despite encouraging results, existing DFKD methods rely heavily
on generation modules with high computational costs. Meanwhile, they ignore the
fact that the generated and original data exist domain shifts due to the lack
of supervision information. Moreover, knowledge is transferred through each
example, ignoring the implicit relationship among multiple examples. To this
end, we propose a novel Open-world Data Sampling Distillation (ODSD) method
without a redundant generation process. First, we try to sample open-world data
close to the original data's distribution by an adaptive sampling module. Then,
we introduce a low-noise representation to alleviate the domain shifts and
build a structured relationship of multiple data examples to exploit data
knowledge. Extensive experiments on CIFAR-10, CIFAR-100, NYUv2, and ImageNet
show that our ODSD method achieves state-of-the-art performance. Especially, we
improve 1.50\%-9.59\% accuracy on the ImageNet dataset compared with the
existing results.
- Abstract(参考訳): Data-Free Knowledge Distillation (DFKD)は,教師ネットワークのみを用いた高性能な学生モデルの学習を目的とした新しい課題である。
しかし、既存のDFKD法は計算コストの高い生成モジュールに大きく依存している。
一方、彼らは、生成したデータと元のデータが、監督情報の欠如によってドメインシフトが存在するという事実を無視している。
さらに、複数の例間の暗黙の関係を無視して、各例を通して知識が伝達される。
そこで本研究では,冗長な生成過程を伴わない新しいオープンワールドデータサンプリング蒸留(odsd)法を提案する。
まず、適応サンプリングモジュールを用いて、原データの分布に近いオープンワールドデータをサンプリングする。
次に、ドメインシフトを緩和し、データ知識を利用する複数のデータ例の構造化関係を構築するために、低雑音表現を導入する。
CIFAR-10, CIFAR-100, NYUv2, ImageNetの大規模実験により, ODSD法が最先端性能を実現することを示す。
特に、既存の結果と比較してimagenetデータセットの1.50\%-9.59\%精度が向上した。
関連論文リスト
- Unlocking the Potential of Federated Learning: The Symphony of Dataset
Distillation via Deep Generative Latents [43.282328554697564]
本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。
従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。
我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
論文 参考訳(メタデータ) (2023-12-03T23:30:48Z) - Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
我々は,FedND:Federated Learning with noise distillationを提案する。
クライアントでは,局所モデルを学習するための自己蒸留法を提案する。
サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。
実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
論文 参考訳(メタデータ) (2023-06-26T06:14:01Z) - Dataset Distillation: A Comprehensive Review [76.26276286545284]
データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。
本稿ではDDの最近の進歩とその応用について概説する。
論文 参考訳(メタデータ) (2023-01-17T17:03:28Z) - Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。
CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
論文 参考訳(メタデータ) (2022-09-16T21:23:19Z) - Prompting to Distill: Boosting Data-Free Knowledge Distillation via
Reinforced Prompt [52.6946016535059]
データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。
本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。
本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
論文 参考訳(メタデータ) (2022-05-16T08:56:53Z) - Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。
データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。
FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
論文 参考訳(メタデータ) (2021-12-12T14:56:58Z) - Dual Discriminator Adversarial Distillation for Data-free Model
Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。
具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。
提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文 参考訳(メタデータ) (2021-04-12T12:01:45Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。
提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2021-01-20T13:07:39Z) - Passive Batch Injection Training Technique: Boosting Network Performance
by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。
私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
論文 参考訳(メタデータ) (2020-06-08T08:17:32Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。