論文の概要: P-KDGAN: Progressive Knowledge Distillation with GANs for One-class
Novelty Detection
- arxiv url: http://arxiv.org/abs/2007.06963v2
- Date: Sun, 25 Jul 2021 17:25:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 14:07:58.421015
- Title: P-KDGAN: Progressive Knowledge Distillation with GANs for One-class
Novelty Detection
- Title（参考訳）: P-KDGAN:一級ノベルティ検出のためのGANを用いたプログレッシブ知識蒸留
- Authors: Zhiwei Zhang, Shifeng Chen and Lei Sun
- Abstract要約: 1クラスのノベルティ検出は、期待される通常のインスタンスに適合しない異常なインスタンスを特定することである。
ディープニューラルネットワークは、リソース制限されたデバイスにデプロイするには過度にパラメータ化されている。
GANによるプログレッシブ・ナレッジ蒸留(PKDGAN)は,コンパクトで高速な新規検出ネットワークを学習するために提案されている。
- 参考スコア（独自算出の注目度）: 24.46562699161406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One-class novelty detection is to identify anomalous instances that do not
conform to the expected normal instances. In this paper, the Generative
Adversarial Networks (GANs) based on encoder-decoder-encoder pipeline are used
for detection and achieve state-of-the-art performance. However, deep neural
networks are too over-parameterized to deploy on resource-limited devices.
Therefore, Progressive Knowledge Distillation with GANs (PKDGAN) is proposed to
learn compact and fast novelty detection networks. The P-KDGAN is a novel
attempt to connect two standard GANs by the designed distillation loss for
transferring knowledge from the teacher to the student. The progressive
learning of knowledge distillation is a two-step approach that continuously
improves the performance of the student GAN and achieves better performance
than single step methods. In the first step, the student GAN learns the basic
knowledge totally from the teacher via guiding of the pretrained teacher GAN
with fixed weights. In the second step, joint fine-training is adopted for the
knowledgeable teacher and student GANs to further improve the performance and
stability. The experimental results on CIFAR-10, MNIST, and FMNIST show that
our method improves the performance of the student GAN by 2.44%, 1.77%, and
1.73% when compressing the computation at ratios of 24.45:1, 311.11:1, and
700:1, respectively.
- Abstract（参考訳）: 一級の新規性検出は、期待される正常なインスタンスに適合しない異常なインスタンスを特定することである。
本稿では,エンコーダ・デコーダ・エンコーダ・パイプラインに基づくGANを用いて,最先端性能の検出と達成を行う。
しかし、ディープニューラルネットワークは過剰パラメータであり、リソース制限されたデバイスにデプロイできない。
そこで,GANを用いたPKDGAN(Progressive Knowledge Distillation with GAN)を提案する。
P-KDGANは、教師から学生に知識を伝達するための蒸留損失を設計して、2つの標準GANを接続する新しい試みである。
知識蒸留の進歩的な学習は、学生のGANの性能を継続的に改善し、シングルステップ法よりも優れたパフォーマンスを達成する2段階のアプローチである。
第1ステップでは、学生GANは、予め訓練された教師GANを固定重量で指導することにより、教師から基本知識を完全に学習する。
第2のステップでは、知識のある教師と学生のGANに対して共同ファイントレーニングを採用し、パフォーマンスと安定性をさらに向上させる。
CIFAR-10, MNIST, FMNISTによる実験結果から, 計算を24.45:1, 311.11:1, 700:1の比で圧縮すると, 学生GANの2.44%, 1.77%, 1.73%の性能向上が得られた。
関連論文リスト
- Learning Lightweight Object Detectors via Multi-Teacher Progressive
Distillation [56.053397775016755]
本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。
私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
論文 参考訳（メタデータ） (2023-08-17T17:17:08Z) - Improving Knowledge Distillation via Regularizing Feature Norm and
Direction [16.98806338782858]
知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。
教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。
教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
論文 参考訳（メタデータ） (2023-05-26T15:05:19Z) - Knowledge Diffusion for Distillation [53.908314960324915]
知識蒸留(KD)における教師と学生の表現ギャップ
これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。
DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
論文 参考訳（メタデータ） (2023-05-25T04:49:34Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - New Perspective on Progressive GANs Distillation for One-class Novelty
Detection [21.90786581579228]
Thecoder-Decoder-Encoder scheme (EDE-GAN) に基づくジェネレーティブ・アドバイサル・ネットワークは最先端の性能を実現する。
新しい技術、P-KDGAN(Progressive Knowledge Distillation with GAN)は、設計された蒸留損失を通じて2つの標準GANを接続する。
2段階のプログレッシブ・ラーニングは、シングルステップ・アプローチよりも成績が向上し、学生のGANのパフォーマンスを継続的に向上させる。
論文 参考訳（メタデータ） (2021-09-15T13:45:30Z) - G-DetKD: Towards General Distillation Framework for Object Detectors via
Contrastive and Semantic-guided Feature Imitation [49.421099172544196]
そこで本研究では,すべてのピラミッドレベルにまたがる特徴ペア間のソフトマッチングを自動的に行う,意味誘導型特徴模倣手法を提案する。
また,異なる特徴領域間の関係で符号化された情報を効果的に捉えるために,コントラスト蒸留を導入する。
本手法は,(1)フレームワークのコンポーネントを別々に使用した場合に,既存の検出KD技術よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-08-17T07:44:27Z) - Dual Discriminator Adversarial Distillation for Data-free Model
Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。
具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。
提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文 参考訳（メタデータ） (2021-04-12T12:01:45Z) - Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。
微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。
その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
論文 参考訳（メタデータ） (2021-03-25T10:23:30Z) - On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文 参考訳（メタデータ） (2020-11-04T12:29:33Z) - Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。
より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
論文 参考訳（メタデータ） (2020-06-23T15:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。