論文の概要: Practical Network Acceleration with Tiny Sets

• arxiv url: http://arxiv.org/abs/2202.07861v1
• Date: Wed, 16 Feb 2022 05:04:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 14:33:20.654898
• Title: Practical Network Acceleration with Tiny Sets
• Title（参考訳）: Tiny Setsによる実践的ネットワーク高速化
• Authors: Guo-Hua Wang, Jianxin Wu
• Abstract要約: ネットワーク圧縮は、ディープニューラルネットワークの推論を加速するのに有効である。 しかし、精度の低下から回復するためには、トレーニングデータをすべて微調整する必要があることが多い。 そこで本研究では, PRACTISEという手法を用いて, トレーニング画像の小さなセットでネットワークを高速化する手法を提案する。
• 参考スコア（独自算出の注目度）: 38.742142493108744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network compression is effective in accelerating the inference of deep neural networks, but often requires finetuning with all the training data to recover from the accuracy loss. It is impractical in some applications, however, due to data privacy issues or constraints in compression time budget. To deal with the above issues, we propose a method named PRACTISE to accelerate the network with tiny sets of training images. By considering both the pruned part and the unpruned part of a compressed model, PRACTISE alleviates layer-wise error accumulation, which is the main drawback of previous methods. Furthermore, existing methods are confined to few compression schemes, have limited speedup in terms of latency, and are unstable. In contrast, PRACTISE is stable, fast to train, versatile to handle various compression schemes, and achieves low latency. We also propose that dropping entire blocks is a better way than existing compression schemes when only tiny sets of training data are available. Extensive experiments demonstrate that PRACTISE achieves much higher accuracy and more stable models than state-of-the-art methods.
• Abstract（参考訳）: ネットワーク圧縮は、ディープニューラルネットワークの推論を加速するのに有効であるが、精度損失から回復するためには、トレーニングデータをすべて微調整する必要があることが多い。 しかし、データプライバシの問題や圧縮時間予算の制約のため、いくつかのアプリケーションでは実用的ではない。 上記の問題に対処するために, PRACTISE という手法を提案し, トレーニング画像の小さなセットでネットワークを高速化する。 圧縮モデルの刈り取られた部分と未刈り取られた部分の両方を考慮すると、PRACTISEは従来の方法の主な欠点であるレイヤワイドエラーの蓄積を緩和する。 さらに、既存の手法は圧縮方式に制限され、レイテンシの点で制限されたスピードアップを持ち、不安定である。 対照的に、PRACTISEは安定しており、訓練が速く、様々な圧縮スキームを扱うために汎用性があり、低レイテンシを実現する。 また、トレーニングデータの小さなセットしか利用できない場合、既存の圧縮方式よりもブロック全体をドロップする方がよいと提案する。 広範な実験により、practiseは最先端の手法よりもずっと高い精度とより安定したモデルを達成できることが示されている。

関連論文リスト

• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• COMET: A Novel Memory-Efficient Deep Learning Training Framework by Using Error-Bounded Lossy Compression [8.080129426746288]
  広範かつ深層ニューラルネットワーク(DNN)のトレーニングには、メモリなどの大量のストレージリソースが必要になる。 本稿では,メモリ効率のよいCNNトレーニングフレームワーク(COMET)を提案する。 我々のフレームワークは、ベースライントレーニングで最大13.5倍、最先端の圧縮ベースのフレームワークで1.8倍のトレーニングメモリ消費を大幅に削減できる。
  論文  参考訳（メタデータ） (2021-11-18T07:43:45Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• A Novel Memory-Efficient Deep Learning Training Framework via Error-Bounded Lossy Compression [6.069852296107781]
  本稿では,メモリ駆動型高速DNNトレーニングフレームワークを提案する。 我々のフレームワークは、ベースライントレーニングと圧縮による最先端フレームワークよりも最大13.5xと1.8xのトレーニングメモリ消費を大幅に削減することができる。
  論文  参考訳（メタデータ） (2020-11-18T00:47:21Z)
• Neural Network Compression Via Sparse Optimization [23.184290795230897]
  スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。 我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
  論文  参考訳（メタデータ） (2020-11-10T03:03:55Z)
• Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification [12.517161466778655]
  分散モデルトレーニングは、計算ノードにまたがる頻繁なモデル更新による通信ボトルネックに悩まされる。 これらのボトルネックを軽減するために、実践者はスパーシフィケーションや量子化、低ランク更新といった勾配圧縮技術を使用する。 本研究では,高圧縮比の選択による性能劣化が基本的でないことを示す。 適応圧縮戦略は、最終テスト精度を維持しながら通信を低減することができる。
  論文  参考訳（メタデータ） (2020-10-29T16:41:44Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。