論文の概要: ELRT: Efficient Low-Rank Training for Compact Convolutional Neural
Networks
- arxiv url: http://arxiv.org/abs/2401.10341v1
- Date: Thu, 18 Jan 2024 19:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 17:41:50.872069
- Title: ELRT: Efficient Low-Rank Training for Compact Convolutional Neural
Networks
- Title(参考訳): ELRT:小型畳み込みニューラルネットワークのための効率的な低ランクトレーニング
- Authors: Yang Sui, Miao Yin, Yu Gong, Jinqi Xiao, Huy Phan, Bo Yuan
- Abstract要約: 低ランクトレーニングは、低ランクCNNをゼロからトレーニングする代替手段である。
低ランクトレーニングは、事前訓練されたフルランクモデルを必要としないため、トレーニングフェーズ全体は、常に低ランク構造上で実行される。
本稿では,高精度,高精度,低ランクCNNモデルのための効率的な低ランクトレーニングソリューションELRTを提案する。
- 参考スコア(独自算出の注目度): 29.269033837017794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-rank compression, a popular model compression technique that produces
compact convolutional neural networks (CNNs) with low rankness, has been
well-studied in the literature. On the other hand, low-rank training, as an
alternative way to train low-rank CNNs from scratch, has been exploited little
yet. Unlike low-rank compression, low-rank training does not need pre-trained
full-rank models, and the entire training phase is always performed on the
low-rank structure, bringing attractive benefits for practical applications.
However, the existing low-rank training solutions still face several
challenges, such as a considerable accuracy drop and/or still needing to update
full-size models during the training. In this paper, we perform a systematic
investigation on low-rank CNN training. By identifying the proper low-rank
format and performance-improving strategy, we propose ELRT, an efficient
low-rank training solution for high-accuracy, high-compactness, low-rank CNN
models. Our extensive evaluation results for training various CNNs on different
datasets demonstrate the effectiveness of ELRT.
- Abstract(参考訳): 低ランク圧縮は、コンパクト畳み込みニューラルネットワーク(CNN)を低ランクで生成する一般的なモデル圧縮技術であり、文献でよく研究されている。
一方、低ランクのCNNをゼロから訓練する代替手段として、低ランクのトレーニングはほとんど利用されていない。
低ランク圧縮とは異なり、低ランクトレーニングは事前訓練されたフルランクモデルを必要としない。
しかし、既存の低ランクトレーニングソリューションは、相当な精度の低下や、トレーニング中にフルサイズのモデルを更新する必要性など、いくつかの課題に直面している。
本稿では,低ランクCNNトレーニングの系統的研究を行う。
適切な低ランク形式と性能改善戦略を同定し,高い精度,高パフォーマンス,低ランクCNNモデルのための効率的な低ランクトレーニングソリューションELRTを提案する。
異なるデータセット上で各種CNNを訓練するための広範囲な評価結果は,ELRTの有効性を示す。
関連論文リスト
- An automated approach for improving the inference latency and energy
efficiency of pretrained CNNs by removing irrelevant pixels with focused
convolutions [0.8706730566331037]
本稿では,事前学習したCNNを再学習せずによりエネルギー効率良くするための,新しい自動化手法を提案する。
修正された集中畳み込み操作は、様々なトレーニング済みCNNにおいて、推論遅延(25%まで)とエネルギーコスト(最大22%まで)を節約します。
論文 参考訳(メタデータ) (2023-10-11T18:07:37Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - Transferability of Convolutional Neural Networks in Stationary Learning
Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。
このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。
以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文 参考訳(メタデータ) (2023-07-21T13:51:45Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - Towards Sparsification of Graph Neural Networks [9.568566305616656]
我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。
実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
論文 参考訳(メタデータ) (2022-09-11T01:39:29Z) - Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。
モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。
この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文 参考訳(メタデータ) (2022-07-13T09:43:17Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳(メタデータ) (2021-03-14T20:43:19Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳(メタデータ) (2020-12-24T05:24:10Z) - ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via
Fine-Grained Architecture-Preserving Pruning [35.22893238058557]
畳み込みニューラルネットワーク(CNN)はますます深くなり、より広く、非線形になっている。
CNNのための効率的なエンドツーエンドトレーニングおよびプルーニングフレームワークであるClickTrainを提案する。
論文 参考訳(メタデータ) (2020-11-20T01:46:56Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳(メタデータ) (2020-07-07T11:27:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。