論文の概要: Training Acceleration of Low-Rank Decomposed Networks using Sequential Freezing and Rank Quantization

• arxiv url: http://arxiv.org/abs/2309.03824v1
• Date: Thu, 7 Sep 2023 16:33:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 12:18:09.080727
• Title: Training Acceleration of Low-Rank Decomposed Networks using Sequential Freezing and Rank Quantization
• Title（参考訳）: 逐次凍結とランク量子化を用いた低ランク分解ネットワークの学習促進
• Authors: Habib Hajimolahoseini and Walid Ahmed and Yang Liu
• Abstract要約: そこで本研究では,分解に少数のランクを使用することなく,低階分解モデルを高速化する2つの手法を提案する。 これらの手法には、ランク最適化とシーケンシャルな層凍結が含まれる。 実験によると、これらの手法は、トレーニング中に60%まで、組み合わせると推論時に37%まで、モデルのスループットを向上させることができる。
• 参考スコア（独自算出の注目度）: 5.914653351242832
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Low Rank Decomposition (LRD) is a model compression technique applied to the weight tensors of deep learning models in order to reduce the number of trainable parameters and computational complexity. However, due to high number of new layers added to the architecture after applying LRD, it may not lead to a high training/inference acceleration if the decomposition ranks are not small enough. The issue is that using small ranks increases the risk of significant accuracy drop after decomposition. In this paper, we propose two techniques for accelerating low rank decomposed models without requiring to use small ranks for decomposition. These methods include rank optimization and sequential freezing of decomposed layers. We perform experiments on both convolutional and transformer-based models. Experiments show that these techniques can improve the model throughput up to 60% during training and 37% during inference when combined together while preserving the accuracy close to that of the original models
• Abstract（参考訳）: 低ランク分解 (LRD) は、訓練可能なパラメータの数と計算複雑性を減らすために、ディープラーニングモデルの重みテンソルに適用されるモデル圧縮技術である。 しかし, LRDの適用後, アーキテクチャに新たなレイヤが加わったため, 分解ランクが十分に小さくなければ, トレーニング/推論の高速化には至らない可能性がある。 問題は、分解後の精度低下のリスクが小さくなることである。 本稿では,分解に小さな階数を用いることなく,低階分解モデルを促進する2つの手法を提案する。 これらの方法は、ランク最適化と分解層の逐次凍結を含む。 畳み込みモデルと変圧器モデルの両方で実験を行う。 実験によれば、これらの手法はトレーニング中のモデルのスループットを60%まで向上させ、推論時に37%を結合し、元のモデルに近い精度を保つことができる。

関連論文リスト

• Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [15.254107731735553]
  近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。 より正確で安全になるにつれて、ますます大きなものになってきています。 つまり、トレーニングはますますコストと時間がかかります。 トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
  論文  参考訳（メタデータ） (2023-08-28T23:08:15Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [92.55145016562867]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Cuttlefish: Low-Rank Model Training without All the Tuning [55.984294012024755]
  自動低ランクトレーニングアプローチであるCuttlefishを紹介します。 カトルフィッシュは、すべての階層の安定したランクが収束すると、フルランクからローランクのトレーニングに切り替える。 以上の結果から,Cuttlefishはフルランクモデルの最大5.6倍のモデルを生成し,エンドツーエンドのトレーニングプロセスの最大1.2倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-05-04T04:20:20Z)
• Differentiable Self-Adaptive Learning Rate [4.443170466488981]
  本稿では,学習率がパラメータ固有で内部構造を持つ新しい適応アルゴリズムを提案する。 このアルゴリズムは,これらの最先端データセットよりも高速かつ高いコンバージェンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2022-10-19T04:28:57Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Training with Multi-Layer Embeddings for Model Reduction [0.9046327456472286]
  複数層埋め込み学習アーキテクチャを導入し, 一連の線形層を通して埋め込みを訓練する。 その結果,メモリフットプリントの精度が向上し,dを4～8倍削減できることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T02:47:40Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。