論文の概要: LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time
- arxiv url: http://arxiv.org/abs/2110.04252v1
- Date: Fri, 8 Oct 2021 17:03:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-11 14:10:28.617006
- Title: LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time
- Title(参考訳): lcs: 推論時の適応的ネットワーク圧縮のための圧縮可能な部分空間の学習
- Authors: Elvis Nunez, Maxwell Horton, Anish Prabhu, Anurag Ranjan, Ali Farhadi,
Mohammad Rastegari
- Abstract要約: 本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
- 参考スコア(独自算出の注目度): 57.52251547365967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When deploying deep learning models to a device, it is traditionally assumed
that available computational resources (compute, memory, and power) remain
static. However, real-world computing systems do not always provide stable
resource guarantees. Computational resources need to be conserved when load
from other processes is high or battery power is low. Inspired by recent works
on neural network subspaces, we propose a method for training a "compressible
subspace" of neural networks that contains a fine-grained spectrum of models
that range from highly efficient to highly accurate. Our models require no
retraining, thus our subspace of models can be deployed entirely on-device to
allow adaptive network compression at inference time. We present results for
achieving arbitrarily fine-grained accuracy-efficiency trade-offs at inference
time for structured and unstructured sparsity. We achieve accuracies on-par
with standard models when testing our uncompressed models, and maintain high
accuracy for sparsity rates above 90% when testing our compressed models. We
also demonstrate that our algorithm extends to quantization at variable bit
widths, achieving accuracy on par with individually trained networks.
- Abstract(参考訳): デバイスにディープラーニングモデルをデプロイする場合、従来、利用可能な計算リソース(計算量、メモリ、電力)は静的なままだと仮定される。
しかし、現実世界のコンピューティングシステムは、常に安定したリソース保証を提供するわけではない。
他のプロセスからの負荷が高い場合やバッテリ電力が低い場合、計算リソースを保存する必要がある。
ニューラルネットワークのサブスペースに関する最近の研究に触発されて、高効率から高精度までのモデルのきめ細かいスペクトルを含むニューラルネットワークの「圧縮可能なサブスペース」を訓練する手法を提案する。
私たちのモデルは再トレーニングを必要とせず、モデルサブスペースをデバイス上で完全にデプロイして、推論時に適応的なネットワーク圧縮を可能にします。
本稿では,構造的および非構造的スパーシティの推測時に任意にきめ細かい精度・効率のトレードオフを達成するための結果を示す。
我々は、非圧縮モデルをテストする場合、標準モデルとほぼ同等の精度を達成し、圧縮モデルをテストする場合、スパーシティ率を90%以上高い精度で維持する。
また,提案アルゴリズムは可変ビット幅での量子化にまで拡張し,個別に訓練したネットワークと同等の精度を実現する。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳(メタデータ) (2023-10-22T23:56:19Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - Robust low-rank training via approximate orthonormal constraints [2.519906683279153]
低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。
その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
論文 参考訳(メタデータ) (2023-06-02T12:22:35Z) - Deep learning model compression using network sensitivity and gradients [3.52359746858894]
非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。
まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。
第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
論文 参考訳(メタデータ) (2022-10-11T03:02:40Z) - Differentiable Network Pruning for Microcontrollers [14.864940447206871]
本稿では,畳み込みニューラルネットワークのための可変構造型ネットワークプルーニング法を提案する。
モデル固有のリソース使用量とパラメータ重要度フィードバックを統合し、高度に圧縮されかつ正確な分類モデルを得る。
論文 参考訳(メタデータ) (2021-10-15T20:26:15Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳(メタデータ) (2021-06-23T13:23:00Z) - Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。
我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。
CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。
以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文 参考訳(メタデータ) (2020-09-01T16:20:11Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。