論文の概要: TRP: Trained Rank Pruning for Efficient Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2004.14566v1
- Date: Thu, 30 Apr 2020 03:37:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 03:30:46.797000
- Title: TRP: Trained Rank Pruning for Efficient Deep Neural Networks
- Title（参考訳）: TRP:効率的なディープニューラルネットワークのためのトレーニングされたランクプルーニング
- Authors: Yuhui Xu, Yuxi Li, Shuai Zhang, Wei Wen, Botao Wang, Yingyong Qi,
Yiran Chen, Weiyao Lin, Hongkai Xiong
- Abstract要約: 低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。
サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。
TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
- 参考スコア（独自算出の注目度）: 69.06699632822514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To enable DNNs on edge devices like mobile phones, low-rank approximation has
been widely adopted because of its solid theoretical rationale and efficient
implementations. Several previous works attempted to directly approximate a
pretrained model by low-rank decomposition; however, small approximation errors
in parameters can ripple over a large prediction loss. As a result, performance
usually drops significantly and a sophisticated effort on fine-tuning is
required to recover accuracy. Apparently, it is not optimal to separate
low-rank approximation from training. Unlike previous works, this paper
integrates low rank approximation and regularization into the training process.
We propose Trained Rank Pruning (TRP), which alternates between low rank
approximation and training. TRP maintains the capacity of the original network
while imposing low-rank constraints during training. A nuclear regularization
optimized by stochastic sub-gradient descent is utilized to further promote low
rank in TRP. The TRP trained network inherently has a low-rank structure, and
is approximated with negligible performance loss, thus eliminating the
fine-tuning process after low rank decomposition. The proposed method is
comprehensively evaluated on CIFAR-10 and ImageNet, outperforming previous
compression methods using low rank approximation.
- Abstract（参考訳）: 携帯電話などのエッジデバイス上でDNNを有効にするために、その理論的根拠と効率的な実装のために、低ランク近似が広く採用されている。
以前のいくつかの研究は、低ランク分解による事前学習されたモデルを直接近似しようとしたが、パラメータの小さな近似誤差は大きな予測損失を乗り越える可能性がある。
その結果、通常性能は著しく低下し、精度の回復には微調整の高度な努力が必要である。
どうやら、低ランク近似をトレーニングから分離するのは最適ではないようだ。
先行研究とは異なり,本論文は低位近似と正規化を訓練プロセスに統合する。
低位近似と訓練の交互に訓練されたランクプルーニング(trp)を提案する。
TRPはトレーニング中に低ランクの制約を課しながら、元のネットワークの容量を維持する。
確率的サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。
TRPトレーニングネットワークは本質的に低ランク構造を持ち、無視可能な性能損失と近似され、低ランク分解後の微調整プロセスが不要になる。
提案手法はCIFAR-10とImageNetで総合的に評価され,低階近似を用いた従来の圧縮手法よりも優れていた。
関連論文リスト
- Efficient Neural Network Training via Subset Pretraining [5.352839075466439]
ニューラルネットワークのトレーニングでは、バッチ上で計算された部分勾配を使用するのが一般的である。
トレーニングセットの損失最小限は、そのサブセットのミニマによって適切に近似されることが期待できる。
実験の結果 従来の訓練に匹敵する結果に 達できることが確認されました。
論文 参考訳（メタデータ） (2024-10-21T21:31:12Z) - Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML [0.0]
評価ニューラルネットワーク(ENN)は、ターゲットネットワークの性能を予測するために、深層強化学習を通じて訓練される。
ENNは、バックプロパゲーション中に追加評価機能として機能する。
論文 参考訳（メタデータ） (2024-06-15T08:37:51Z) - Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [15.254107731735553]
近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。
より正確で安全になるにつれて、ますます大きなものになってきています。
つまり、トレーニングはますますコストと時間がかかります。
トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
論文 参考訳（メタデータ） (2023-08-28T23:08:15Z) - InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳（メタデータ） (2023-06-20T03:03:04Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Prospect Pruning: Finding Trainable Weights at Initialization using
Meta-Gradients [36.078414964088196]
初期化時にニューラルネットワークをプルーニングすることで、元のネットワークの精度を保ったスパースモデルを見つけることができる。
現在の方法は、この最適化を可能にするには不十分であり、モデル性能の大幅な低下につながります。
提案するProspect Pruning(ProsPr)は,最適化の最初の数ステップを通じてメタグラディエントを用いて,どの重み付けを行うかを決定する。
本手法は,従来のプルーニング・アット・初期化手法と比較して,データの少ない1ショットで,様々な視覚分類タスクにおける最先端のプルーニング性能を実現する。
論文 参考訳（メタデータ） (2022-02-16T15:18:55Z) - Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。
IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。
再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-11-01T11:23:44Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳（メタデータ） (2020-04-20T02:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。