論文の概要: New Perspective on Progressive GANs Distillation for One-class Novelty Detection

• arxiv url: http://arxiv.org/abs/2109.07295v3
• Date: Fri, 30 Jun 2023 15:32:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 16:09:17.458474
• Title: New Perspective on Progressive GANs Distillation for One-class Novelty Detection
• Title（参考訳）: 一級ノベルティ検出のためのプログレッシブガンス蒸留の新展開
• Authors: Zhiwei Zhang, Yu Dong, Hanyu Peng, Shifeng Chen
• Abstract要約: Thecoder-Decoder-Encoder scheme (EDE-GAN) に基づくジェネレーティブ・アドバイサル・ネットワークは最先端の性能を実現する。 新しい技術、P-KDGAN(Progressive Knowledge Distillation with GAN)は、設計された蒸留損失を通じて2つの標準GANを接続する。 2段階のプログレッシブ・ラーニングは、シングルステップ・アプローチよりも成績が向上し、学生のGANのパフォーマンスを継続的に向上させる。
• 参考スコア（独自算出の注目度）: 21.90786581579228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-class novelty detection is conducted to identify anomalous instances, with different distributions from the expected normal instances. In this paper, the Generative Adversarial Network based on the Encoder-Decoder-Encoder scheme (EDE-GAN) achieves state-of-the-art performance. The two factors bellow serve the above purpose: 1) The EDE-GAN calculates the distance between two latent vectors as the anomaly score, which is unlike the previous methods by utilizing the reconstruction error between images. 2) The model obtains best results when the batch size is set to 1. To illustrate their superiority, we design a new GAN architecture, and compare performances according to different batch sizes. Moreover, with experimentation leads to discovery, our result implies there is also evidence of just how beneficial constraint on the latent space are when engaging in model training. In an attempt to learn compact and fast models, we present a new technology, Progressive Knowledge Distillation with GANs (P-KDGAN), which connects two standard GANs through the designed distillation loss. Two-step progressive learning continuously augments the performance of student GANs with improved results over single-step approach. Our experimental results on CIFAR-10, MNIST, and FMNIST datasets illustrate that P-KDGAN improves the performance of the student GAN by 2.44%, 1.77%, and 1.73% when compressing the computationat ratios of 24.45:1, 311.11:1, and 700:1, respectively.
• Abstract（参考訳）: 期待される通常のインスタンスと異なる分布を持つ異常なインスタンスを特定するために、一級ノベルティ検出を行う。 本稿では,Encoder-Decoder-Encoderスキーム(EDE-GAN)に基づくジェネレーティブ・アドバイサル・ネットワークにより,最先端の性能を実現する。 上記の目的を果たす要因は2つある。 1)EDE-GANは,画像間の再構成誤差を利用して,2つの潜伏ベクトル間の距離を異常スコアとして算出する。 2) バッチサイズが 1 に設定されると,モデルが最もよい結果が得られる。 それらの優位性を説明するため、我々は新しいGANアーキテクチャを設計し、異なるバッチサイズで性能を比較する。 さらに,実験が発見に繋がることにより,モデル学習を行う際に潜在空間にどの程度有益な制約があるかを示す証拠が得られた。 コンパクトかつ高速なモデルを学習するために, 設計した蒸留損失により2つの標準GANを接続する新しい技術であるプログレッシブ知識蒸留(P-KDGAN)を提案する。 2段階のプログレッシブ・ラーニングは学生のGANのパフォーマンスを継続的に向上させ、シングルステップのアプローチよりも改善する。 CIFAR-10, MNIST, FMNISTデータセットによる実験結果から, P-KDGANは, 計算率24.45:1, 311.11:1, 700:1をそれぞれ圧縮した場合に, 学生のGANの性能を2.44%, 1.77%, 1.73%向上させることがわかった。

関連論文リスト

• Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
  本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。 IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。 本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
  論文  参考訳（メタデータ） (2024-04-24T03:25:53Z)
• Attention based Dual-Branch Complex Feature Fusion Network for Hyperspectral Image Classification [1.3249509346606658]
  提案モデルはパヴィア大学とサリナスのデータセットで評価される。 その結果,提案手法は,全体の精度,平均精度,Kappaにおいて,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-02T22:31:24Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
  GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。 本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。 提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
  論文  参考訳（メタデータ） (2023-05-24T07:59:44Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs [24.18718734850797]
  Data-Efficient GAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としている。 対照的な学習は、DE-GANの合成品質を高める大きな可能性を示している。 偽のサンプルに対してのみ対照的な学習を行うFakeCLRを提案する。
  論文  参考訳（メタデータ） (2022-07-18T14:23:38Z)
• An Empirical Study on GANs with Margin Cosine Loss and Relativistic Discriminator [4.899818550820575]
  我々は新しい損失関数、すなわち相対論的Margin Cosine Loss(RMCosGAN)を導入する。 本稿では,RCCosGANの性能と既存の損失関数を比較する。 実験の結果,RCCosGANは既存の画像よりも優れており,画像の品質が著しく向上していることがわかった。
  論文  参考訳（メタデータ） (2021-10-21T17:25:47Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Disentangle Your Dense Object Detector [82.22771433419727]
  深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。 しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。 そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
  論文  参考訳（メタデータ） (2021-07-07T00:52:16Z)
• P-KDGAN: Progressive Knowledge Distillation with GANs for One-class Novelty Detection [24.46562699161406]
  1クラスのノベルティ検出は、期待される通常のインスタンスに適合しない異常なインスタンスを特定することである。 ディープニューラルネットワークは、リソース制限されたデバイスにデプロイするには過度にパラメータ化されている。 GANによるプログレッシブ・ナレッジ蒸留(PKDGAN)は,コンパクトで高速な新規検出ネットワークを学習するために提案されている。
  論文  参考訳（メタデータ） (2020-07-14T10:44:57Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。