論文の概要: Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2010.07334v1
• Date: Wed, 14 Oct 2020 18:02:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 12:53:01.797890
• Title: Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer
• Title（参考訳）: データフリーな知識伝達による高精度量子化と刈り取り
• Authors: Chen Zhu, Zheng Xu, Ali Shafahi, Manli Shu, Amin Ghiasi, Tom Goldstein
• Abstract要約: 我々は、訓練された大規模ネットワークからコンパクトネットワークへの知識の伝達により、データフリーな量子化とプルーニングを研究する。 データフリーなコンパクトネットワークは、トレーニングデータで訓練され、微調整されたネットワークに対して、競争精度を達成する。
• 参考スコア（独自算出の注目度）: 61.85316480370141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When large scale training data is available, one can obtain compact and accurate networks to be deployed in resource-constrained environments effectively through quantization and pruning. However, training data are often protected due to privacy concerns and it is challenging to obtain compact networks without data. We study data-free quantization and pruning by transferring knowledge from trained large networks to compact networks. Auxiliary generators are simultaneously and adversarially trained with the targeted compact networks to generate synthetic inputs that maximize the discrepancy between the given large network and its quantized or pruned version. We show theoretically that the alternating optimization for the underlying minimax problem converges under mild conditions for pruning and quantization. Our data-free compact networks achieve competitive accuracy to networks trained and fine-tuned with training data. Our quantized and pruned networks achieve good performance while being more compact and lightweight. Further, we demonstrate that the compact structure and corresponding initialization from the Lottery Ticket Hypothesis can also help in data-free training.
• Abstract（参考訳）: 大規模トレーニングデータが利用可能であれば、量子化とプルーニングによってリソース制約のある環境で効果的に展開できるコンパクトで正確なネットワークを得ることができる。 しかし、トレーニングデータはプライバシー上の懸念から保護されることが多く、データ無しでコンパクトネットワークを得ることは困難である。 訓練された大規模ネットワークからコンパクトネットワークへ知識を移すことで,データフリーな量子化とプルーニングについて検討する。 補助発電機は、対象のコンパクトネットワークで同時に対角的に訓練され、与えられた大きなネットワークとその量子化または切断されたバージョンとの差を最大化する合成入力を生成する。 基本となるミニマックス問題に対する交互最適化は、プルーニングと量子化の穏やかな条件下で収束することを示す。 データフリーのコンパクトネットワークは、トレーニングデータで微調整されたネットワークに対して、競争力のある精度を実現します。 量子化およびprunedネットワークは、よりコンパクトで軽量で優れた性能を実現しています。 さらに,宝くじ仮説によるコンパクトな構造と対応する初期化が,データフリートレーニングにも有効であることを示す。

関連論文リスト

• Robustness to distribution shifts of compressed networks for edge devices [6.606005367624169]
  領域シフトと対向摂動の2種類のデータ分散シフトにおいて,圧縮ネットワークの堅牢性を検討することが重要である。 本研究では,圧縮モデルが元のネットワークよりも分散シフトに対して頑健でないことを明らかにする。 知識蒸留によって得られるコンパクトネットワークは、刈り取られたネットワークよりも、分散シフトに対してより堅牢である。
  論文  参考訳（メタデータ） (2024-01-22T15:00:32Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Convolutional Network Fabric Pruning With Label Noise [0.0]
  本稿では,コンボリューショナル・ネットワーク・ファブリック(CNF)に対して,ノイズの多いトレーニングやテストデータの存在下で反復的プルーニング戦略を提案する。 固有の構造と機能のため、畳み込みネットワークファブリックは刈り込みの理想的な候補である。
  論文  参考訳（メタデータ） (2022-02-15T09:24:08Z)
• Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
  我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
  論文  参考訳（メタデータ） (2021-08-20T11:53:05Z)
• Benchmarking quantum tomography completeness and fidelity with machine learning [0.0]
  我々は畳み込みニューラルネットワークを訓練し、ある測定セットが情報的に完全であるかどうかを予測し、任意の量子状態を事前情報なしで一意に再構築する。 ネットワークは、その忠実さと情報完全性に対する信頼性の高い尺度を認識するために訓練される。
  論文  参考訳（メタデータ） (2021-03-02T07:30:32Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Fault Handling in Large Water Networks with Online Dictionary Learning [1.933681537640272]
  ここでは、センサ配置を行う際にネットワークトポロジを考慮に入れたデータ駆動の代替手段を提供することで、モデルを単純化する。 オンライン学習は高速で、一度に小さな信号のバッチを処理するため、大きなネットワークに取り組むことができる。 このアルゴリズムは、小規模ネットワークと大規模ネットワークの両方でテストした場合、優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-18T21:46:14Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。