論文の概要: Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition

• arxiv url: http://arxiv.org/abs/2405.03089v2
• Date: Thu, 17 Oct 2024 11:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:09.465270
• Title: Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition
• Title（参考訳）: 線形層構成による低ランク誘導学習による構造保存型ネットワーク圧縮
• Authors: Xitong Zhang, Ismail R. Alkhouri, Rongrong Wang,
• Abstract要約: ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。 我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 11.399520888150468
• License:
• Abstract: Deep Neural Networks (DNNs) have achieved remarkable success in addressing many previously unsolvable tasks. However, the storage and computational requirements associated with DNNs pose a challenge for deploying these trained models on resource-limited devices. Therefore, a plethora of compression and pruning techniques have been proposed in recent years. Low-rank decomposition techniques are among the approaches most utilized to address this problem. Compared to post-training compression, compression-promoted training is still under-explored. In this paper, we present a theoretically-justified technique termed Low-Rank Induced Training (LoRITa), that promotes low-rankness through the composition of linear layers and compresses by using singular value truncation. This is achieved without the need to change the structure at inference time or require constrained and/or additional optimization, other than the standard weight decay regularization. Moreover, LoRITa eliminates the need to (i) initialize with pre-trained models, (ii) specify rank selection prior to training, and (iii) compute SVD in each iteration. Our experimental results (i) demonstrate the effectiveness of our approach using MNIST on Fully Connected Networks, CIFAR10 on Vision Transformers, and CIFAR10/100 and ImageNet on Convolutional Neural Networks, and (ii) illustrate that we achieve either competitive or state-of-the-art results when compared to leading structured pruning and low-rank training methods in terms of FLOPs and parameters drop. Our code is available at \url{https://github.com/XitongSystem/LoRITa/tree/main}.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、これまで解決できなかった多くのタスクに対処することに成功した。 しかしながら、DNNに関連するストレージと計算の要件は、これらのトレーニングされたモデルをリソース制限されたデバイスにデプロイする上での課題である。 そのため,近年,圧縮・刈り込み技術が数多く提案されている。 低ランク分解技術は、この問題に最もよく利用されるアプローチの1つである。 ポストトレーニングの圧縮と比較すると、圧縮促進トレーニングはまだ未調査である。 本稿では,Low-Rank induced Training (LoRITa) と呼ばれる理論的に修飾された手法を提案する。 これは、標準の重み減衰正規化以外の、推論時に構造を変更したり、制約や追加の最適化を必要とすることなく達成される。 さらに、LoRITaは、不要になる。 (i)事前訓練されたモデルで初期化する。 二 訓練前の位階選定を定めること。 (iii)イテレーション毎にSVDを計算します。 実験結果 i) 完全連結ネットワーク上でのMNIST, 視覚変換器上でのCIFAR10, 畳み込みニューラルネットワーク上でのCIFAR10/100および画像ネットを用いたアプローチの有効性を示す。 (II) FLOPやパラメータの減少の観点から, 先行的な構造化プルーニングや低ランクのトレーニング手法と比較して, 競争力や最先端の成果が得られていることを示す。 私たちのコードは \url{https://github.com/XitongSystem/LoRITa/tree/main} で利用可能です。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [15.254107731735553]
  近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。 より正確で安全になるにつれて、ますます大きなものになってきています。 つまり、トレーニングはますますコストと時間がかかります。 トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
  論文  参考訳（メタデータ） (2023-08-28T23:08:15Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Compression-aware Training of Neural Networks using Frank-Wolfe [27.69586583737247]
  本稿では,フィルタプルーニングと低ランク行列分解に対するロバスト性を誘導しながら,高い性能のソリューションへの収束を促すフレームワークを提案する。 提案手法は,従来の圧縮対応手法よりも優れており,低ランク行列分解の場合,核ノルム正規化に基づく手法よりも計算資源が大幅に少ない。
  論文  参考訳（メタデータ） (2022-05-24T09:29:02Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Only Train Once: A One-Shot Neural Network Training And Pruning Framework [31.959625731943675]
  構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。 我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。 OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。 OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
  論文  参考訳（メタデータ） (2021-07-15T17:15:20Z)
• Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
  ディープネットにおける因子化層の初期化と規則化の方法を示す。 これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
  論文  参考訳（メタデータ） (2021-05-03T17:28:07Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。