論文の概要: Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing

• arxiv url: http://arxiv.org/abs/2103.11912v1
• Date: Mon, 22 Mar 2021 14:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 21:11:28.216012
• Title: Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing
• Title（参考訳）: 局所感性ハッシュを用いたGANの訓練後圧縮評価
• Authors: Gon\c{c}alo Mordido, Haojin Yang, Christoph Meinel
• Abstract要約: 既存の圧縮法がGANs後訓練の圧縮に直接適用できることを示した。 局所性に敏感なハッシュ(LSH)に基づく2つの新しい精度とリコール指標を提案する。 複数のデータセット上のプリトレーニングされたGANの低ビット圧縮は、精度とリコールのトレードオフを引き起こす。
• 参考スコア（独自算出の注目度）: 12.182193687133713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The analysis of the compression effects in generative adversarial networks (GANs) after training, i.e. without any fine-tuning, remains an unstudied, albeit important, topic with the increasing trend of their computation and memory requirements. While existing works discuss the difficulty of compressing GANs during training, requiring novel methods designed with the instability of GANs training in mind, we show that existing compression methods (namely clipping and quantization) may be directly applied to compress GANs post-training, without any additional changes. High compression levels may distort the generated set, likely leading to an increase of outliers that may negatively affect the overall assessment of existing k-nearest neighbor (KNN) based metrics. We propose two new precision and recall metrics based on locality-sensitive hashing (LSH), which, on top of increasing the outlier robustness, decrease the complexity of assessing an evaluation sample against $n$ reference samples from $O(n)$ to $O(\log(n))$, if using LSH and KNN, and to $O(1)$, if only applying LSH. We show that low-bit compression of several pre-trained GANs on multiple datasets induces a trade-off between precision and recall, retaining sample quality while sacrificing sample diversity.
• Abstract（参考訳）: 訓練後のgenerative adversarial network(gans)における圧縮効果の解析 微調整なしでは、その計算とメモリ要件の傾向が増大する中で、まだ研究されていない重要なトピックである。 既存の作業ではgansの圧縮の難しさを議論し,gans訓練の不安定性を念頭に置いて設計された新しい方法が必要となる一方で,既存の圧縮手法(クリップングと量子化)がgansのトレーニング後の圧縮に直接適用され得ることを示した。 高圧縮レベルは生成したセットを歪ませる可能性があり、既存のk-nearest neighbor(KNN)ベースのメトリクスの全体的な評価に悪影響を及ぼす可能性がある。 局所性に敏感なハッシュ(LSH)に基づく2つの新しい精度とリコール指標を提案する。この手法により,LSHを適用すれば,評価サンプルを$O(n)$から$O(\log(n))$,$O(1)$まで,評価サンプルを$O(n)$から$O(\log(n))$に評価する複雑性が低減される。 複数のデータセット上で事前学習されたganの低ビット圧縮は精度とリコールのトレードオフを引き起こし、サンプルの多様性を犠牲にしてサンプル品質を維持する。

関連論文リスト

• Compressed Federated Reinforcement Learning with a Generative Model [11.074080383657453]
  強化学習は近年、前例のない人気を得たが、それでもサンプルの非効率さに悩まされている。 この課題に対処するため、フェデレーション強化学習(FedRL)が出現し、エージェントは局所的な推定を集約することで単一のポリシーを協調的に学習する。 通信効率のよいFedRL手法であるCompFedRLを提案する。
  論文  参考訳（メタデータ） (2024-03-26T15:36:47Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Self-Supervised Scalable Deep Compressed Sensing [24.854496459622787]
  圧縮センシングはサンプリングコストを削減するための有望なツールである。 現在のディープニューラルネットワーク(NN)ベースのCS手法は、ラベル付き測定地上真実(GT)データ収集の課題に直面している。 本稿では,新しい$mathbfS$elf-supervised s$mathbfC$alable Deep CS法を提案する。
  論文  参考訳（メタデータ） (2023-08-26T06:03:06Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Federated Random Reshuffling with Compression and Variance Reduction [0.0]
  ランダムリシャッフル(RR)は、経験的リスク最小化を通じて教師付き機械学習モデルをトレーニングするための非常に一般的な方法である。 組み込みであり、しばしば標準の機械学習ソフトウェアでデフォルトとして設定される。 我々はFedRRをさらに改善するための3つの新しいアルゴリズムを紹介した。1つはシャッフルによる分散を、もう1つは圧縮による分散をモデル化する。
  論文  参考訳（メタデータ） (2022-05-08T16:46:11Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
  判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。 線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。