論文の概要: DECORE: Deep Compression with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2106.06091v1
• Date: Fri, 11 Jun 2021 00:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:33:05.167262
• Title: DECORE: Deep Compression with Reinforcement Learning
• Title（参考訳）: DECORE:強化学習による深い圧縮
• Authors: Manoj Alwani, Vashisht Madhavan, Yang Wang
• Abstract要約: 本稿では,ネットワーク圧縮プロセスを自動化する強化学習手法であるDECOREを提案する。 他のアーキテクチャ検索手法とは対照的に、DECOREはシンプルで高速にトレーニングでき、1GPU上でのトレーニングに数時間しか必要としない。
• 参考スコア（独自算出の注目度）: 7.662713970764377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has become an increasingly popular and powerful option for modern pattern recognition systems. However, many deep neural networks have millions to billions of parameters, making them untenable for real-world applications with constraints on memory or latency. As a result, powerful network compression techniques are a must for the widespread adoption of deep learning. We present DECORE, a reinforcement learning approach to automate the network compression process. Using a simple policy gradient method to learn which neurons or channels to keep or remove, we are able to achieve compression rates 3x to 5x greater than contemporary approaches. In contrast with other architecture search methods, DECORE is simple and quick to train, requiring only a few hours of training on 1 GPU. When applied to standard network architectures on different datasets, our approach achieves 11x to 103x compression on different architectures while maintaining accuracies similar to those of the original, large networks.
• Abstract（参考訳）: ディープラーニングは、現代のパターン認識システムにおいて、ますます人気で強力な選択肢になりつつある。 しかし、多くのディープニューラルネットワークは数百万から数十億のパラメータを持ち、メモリやレイテンシに制約のある現実世界のアプリケーションでは耐えられない。 その結果、強力なネットワーク圧縮技術は、ディープラーニングを広く採用する上で必須である。 ネットワーク圧縮プロセスを自動化する強化学習手法であるDECOREを提案する。 簡単なポリシー勾配法を用いて、どのニューロンやチャネルを保持または除去するかを学習し、現代のアプローチよりも3倍から5倍の圧縮率を達成することができる。 他のアーキテクチャ検索手法とは対照的に、DECOREはシンプルで訓練が早いため、1GPUで数時間のトレーニングしか必要としない。 異なるデータセット上の標準ネットワークアーキテクチャに適用すると,従来の大規模ネットワークと同様の精度を維持しつつ,異なるアーキテクチャ上での11倍から103倍の圧縮を実現する。

関連論文リスト

• Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
  プルーニングと量子化が ニューラルネットワークを圧縮する主要なアプローチです 効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。 本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T13:34:02Z)
• The First Principles of Deep Learning and Compression [4.797216015572358]
  ディープラーニング手法の急速な普及により、消費者や組み込みアプリケーションでの利用が急速に増加した。 コンシューマおよび組み込みアプリケーションの1つの結果は、効率的なストレージとデータの送信を設計するために必要な、損失のあるマルチメディア圧縮である。 マルチメディア圧縮のディープラーニングアプローチは、Learned Multimedia Compressionと呼ばれ、エンコーダとデコーダのためのディープネットワークを用いて画像やビデオの圧縮表現を計算する。
  論文  参考訳（メタデータ） (2022-04-04T18:24:25Z)
• Supervised Compression for Resource-constrained Edge Computing Systems [26.676557573171618]
  フルスケールのディープニューラルネットワークは、エネルギーとストレージの面でリソース集約的すぎることが多い。 本稿では、知識蒸留とニューラルイメージ圧縮のアイデアを採用し、中間特徴表現をより効率的に圧縮する。 教師付きレート歪み性能を向上するとともに、エンドツーエンドのレイテンシも小さくする。
  論文  参考訳（メタデータ） (2021-08-21T11:10:29Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
  本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。 大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
  論文  参考訳（メタデータ） (2021-02-05T11:31:24Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Neural Network Compression Framework for fast model inference [59.65531492759006]
  我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。 様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。 フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
  論文  参考訳（メタデータ） (2020-02-20T11:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。