論文の概要: Maestro: Uncovering Low-Rank Structures via Trainable Decomposition
- arxiv url: http://arxiv.org/abs/2308.14929v1
- Date: Mon, 28 Aug 2023 23:08:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:30:19.386588
- Title: Maestro: Uncovering Low-Rank Structures via Trainable Decomposition
- Title（参考訳）: Maestro: トレーニング可能な分解による低ランク構造発見
- Authors: Samuel Horvath, Stefanos Laskaridis, Shashank Rajput, Hongyi Wang
- Abstract要約: 我々は,Deep Neural Networks(DNN)におけるトレーニング可能な低ランク層のためのフレームワークMaestroを提案する。
提案手法は,一様分散データ上での線形写像のSVD分解と,線形オートエンコーダのPCAを復元することを示した。
- 参考スコア（独自算出の注目度）: 16.664016849293386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have been a large driver and enabler for AI
breakthroughs in recent years. These models have been getting larger in their
attempt to become more accurate and tackle new upcoming use-cases, including
AR/VR and intelligent assistants. However, the training process of such large
models is a costly and time-consuming process, which typically yields a single
model to fit all targets. To mitigate this, various techniques have been
proposed in the literature, including pruning, sparsification or quantization
of the model weights and updates. While able to achieve high compression rates,
they often incur computational overheads or accuracy penalties. Alternatively,
factorization methods have been leveraged to incorporate low-rank compression
in the training process. Similarly, such techniques (e.g.,~SVD) frequently rely
on the computationally expensive decomposition of layers and are potentially
sub-optimal for non-linear models, such as DNNs. In this work, we take a
further step in designing efficient low-rank models and propose Maestro, a
framework for trainable low-rank layers. Instead of regularly applying a priori
decompositions such as SVD, the low-rank structure is built into the training
process through a generalized variant of Ordered Dropout. This method imposes
an importance ordering via sampling on the decomposed DNN structure. Our
theoretical analysis demonstrates that our method recovers the SVD
decomposition of linear mapping on uniformly distributed data and PCA for
linear autoencoders. We further apply our technique on DNNs and empirically
illustrate that Maestro enables the extraction of lower footprint models that
preserve model performance while allowing for graceful accuracy-latency
tradeoff for the deployment to devices of different capabilities.
- Abstract（参考訳）: 近年、Deep Neural Networks(DNN)は、AIブレークスルーのための大きなドライバーであり、イネーブルである。
これらのモデルは、より正確になり、AR/VRやインテリジェントアシスタントなど、新しいユースケースに取り組むために、ますます大きくなっている。
しかし、そのような大きなモデルのトレーニングプロセスはコストと時間を要するプロセスであり、通常、すべてのターゲットに適合する単一のモデルを生成する。
これを緩和するために、プルーニング、スパース化、モデルの重み付けと更新の定量化を含む様々な技術が文献に提案されている。
高い圧縮速度を達成することができるが、しばしば計算上のオーバーヘッドや精度のペナルティを負う。
あるいは、ファクタ化手法を利用して、トレーニングプロセスに低ランク圧縮を組み込むこともできる。
同様に、そのような手法(例えば~SVD)は、しばしば計算的に高価な層分解に依存し、DNNのような非線形モデルに準最適である可能性がある。
本研究では、効率的な低ランクモデルの設計をさらに進め、トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
SVDのような事前分解を定期的に適用する代わりに、オーダード・ドロップアウトの一般化版を通じて、低ランク構造をトレーニングプロセスに組み込む。
この方法は、分解したDNN構造をサンプリングすることで重要な順序付けを行う。
理論解析により,一様分布データに対する線形写像のsvd分解とリニアオートエンコーダのpcaを回復することを示した。
さらに,本手法をDNNに適用し,Maestroがモデル性能を維持する低フットプリントモデルの抽出を可能にし,異なる機能を持つデバイスに展開する際の高精度なレイテンシトレードオフを可能にすることを実証的に示す。
関連論文リスト
- Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。
LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。
我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-05-06T00:58:23Z) - Training Acceleration of Low-Rank Decomposed Networks using Sequential
Freezing and Rank Quantization [5.914653351242832]
そこで本研究では,分解に少数のランクを使用することなく,低階分解モデルを高速化する2つの手法を提案する。
これらの手法には、ランク最適化とシーケンシャルな層凍結が含まれる。
実験によると、これらの手法は、トレーニング中に60%まで、組み合わせると推論時に37%まで、モデルのスループットを向上させることができる。
論文 参考訳（メタデータ） (2023-09-07T16:33:42Z) - Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。
我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。
提案するフレームワークは,合理的な性能で高い効率性を示す。
論文 参考訳（メタデータ） (2023-04-20T07:21:32Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network
Training [0.5219568203653523]
我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。
最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
論文 参考訳（メタデータ） (2020-09-23T07:39:55Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳（メタデータ） (2020-06-12T15:07:08Z) - TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。
サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。
TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
論文 参考訳（メタデータ） (2020-04-30T03:37:36Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳（メタデータ） (2020-04-20T02:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。