論文の概要: Maestro: Uncovering Low-Rank Structures via Trainable Decomposition

• arxiv url: http://arxiv.org/abs/2308.14929v2
• Date: Fri, 14 Jun 2024 17:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:53:15.474934
• Title: Maestro: Uncovering Low-Rank Structures via Trainable Decomposition
• Title（参考訳）: Maestro: トレーニング可能な分解による低ランク構造発見
• Authors: Samuel Horvath, Stefanos Laskaridis, Shashank Rajput, Hongyi Wang,
• Abstract要約: 近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。 より正確で安全になるにつれて、ますます大きなものになってきています。 つまり、トレーニングはますますコストと時間がかかります。 トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
• 参考スコア（独自算出の注目度）: 15.254107731735553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) have been a large driver for AI breakthroughs in recent years. However, these models have been getting increasingly large as they become more accurate and safe. This means that their training becomes increasingly costly and time-consuming and typically yields a single model to fit all targets. Various techniques have been proposed in the literature to mitigate this, including pruning, sparsification, or quantization of model weights and updates. While achieving high compression rates, they often incur significant computational overheads at training or lead to non-negligible accuracy penalty. Alternatively, factorization methods have been leveraged for low-rank compression of DNNs. Similarly, such techniques (e.g., SVD) frequently rely on heavy iterative decompositions of layers and are potentially sub-optimal for non-linear models, such as DNNs. We take a further step in designing efficient low-rank models and propose Maestro, a framework for trainable low-rank layers. Instead of iteratively applying a priori decompositions, the low-rank structure is baked into the training process through LoD, a low-rank ordered decomposition. Not only is this the first time importance ordering via sampling is applied on the decomposed DNN structure, but it also allows selecting ranks at a layer granularity. Our theoretical analysis demonstrates that in special cases LoD recovers the SVD decomposition and PCA. Applied to DNNs, Maestro enables the extraction of lower footprint models that preserve performance. Simultaneously, it enables the graceful trade-off between accuracy-latency for deployment to even more constrained devices without retraining.
• Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。 しかし、これらのモデルはより正確で安全になるにつれて、ますます大きくなってきている。 これは、トレーニングがますますコストと時間のかかるものになり、通常、すべてのターゲットに適合する単一のモデルが得られることを意味します。 プルーニング、スパーシフィケーション、モデルの重み付けと更新の定量化など、これを緩和する様々な技術が文献で提案されている。 高い圧縮率を達成する一方で、トレーニング時に重大な計算オーバーヘッドを発生させる場合や、無視できない精度のペナルティにつながる場合が多い。 あるいは、DNNの低ランク圧縮に分解法が活用されている。 同様に、そのような手法(例えばSVD)は、しばしばレイヤーの重い反復分解に依存し、DNNのような非線形モデルに準最適である可能性がある。 我々は、効率的な低ランクモデルの設計をさらに進め、トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。 先行分解を反復的に施す代わりに、低ランク秩序分解であるLoDを用いて、低ランク構造をトレーニングプロセスに焼き込む。 サンプリングによる順序付けが分解されたDNN構造に適用されるのはこれが初めてであるだけでなく、層粒度でランクを選択することもできる。 理論解析により,特殊ケースではLoDがSVD分解とPCAを回復することが示された。 DNNに適用されたMaestroは、パフォーマンスを維持する下位フットプリントモデルの抽出を可能にする。 同時に、デプロイメントの精度レイテンシと、さらに制約のあるデバイスとの、再トレーニングなしでの優雅なトレードオフを可能にします。

関連論文リスト

• Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
  ディープニューラルネットワーク(DNN)は、これまで解決できなかった多くのタスクに対処することに成功した。 DNNに関連するストレージと計算の要件は、これらのトレーニングされたモデルをリソース制限されたデバイスにデプロイする上での課題である。 ローランド誘導訓練(LoRITa)と呼ばれる理論的修正された新しいアプローチを提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。
  論文  参考訳（メタデータ） (2024-05-06T00:58:23Z)
• Training Acceleration of Low-Rank Decomposed Networks using Sequential Freezing and Rank Quantization [5.914653351242832]
  そこで本研究では,分解に少数のランクを使用することなく,低階分解モデルを高速化する2つの手法を提案する。 これらの手法には、ランク最適化とシーケンシャルな層凍結が含まれる。 実験によると、これらの手法は、トレーニング中に60%まで、組み合わせると推論時に37%まで、モデルのスループットを向上させることができる。
  論文  参考訳（メタデータ） (2023-09-07T16:33:42Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Slimmable Networks for Contrastive Self-supervised Learning [67.21528544724546]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせずに、事前訓練された小型モデルを得るための一段階のソリューションを提案する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training [0.5219568203653523]
  我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。 最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-09-23T07:39:55Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。