Fugu-MT 論文翻訳(概要): ELRT: Efficient Low-Rank Training for Compact Convolutional Neural Networks

論文の概要: ELRT: Efficient Low-Rank Training for Compact Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2401.10341v1
Date: Thu, 18 Jan 2024 19:09:47 GMT
ステータス: 処理完了
システム内更新日: 2024-01-22 17:41:50.872069
Title: ELRT: Efficient Low-Rank Training for Compact Convolutional Neural Networks
Title（参考訳）: ELRT:小型畳み込みニューラルネットワークのための効率的な低ランクトレーニング
Authors: Yang Sui, Miao Yin, Yu Gong, Jinqi Xiao, Huy Phan, Bo Yuan
Abstract要約: 低ランクトレーニングは、低ランクCNNをゼロからトレーニングする代替手段である。低ランクトレーニングは、事前訓練されたフルランクモデルを必要としないため、トレーニングフェーズ全体は、常に低ランク構造上で実行される。本稿では,高精度,高精度,低ランクCNNモデルのための効率的な低ランクトレーニングソリューションELRTを提案する。
参考スコア（独自算出の注目度）: 29.269033837017794
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-rank compression, a popular model compression technique that produces compact convolutional neural networks (CNNs) with low rankness, has been well-studied in the literature. On the other hand, low-rank training, as an alternative way to train low-rank CNNs from scratch, has been exploited little yet. Unlike low-rank compression, low-rank training does not need pre-trained full-rank models, and the entire training phase is always performed on the low-rank structure, bringing attractive benefits for practical applications. However, the existing low-rank training solutions still face several challenges, such as a considerable accuracy drop and/or still needing to update full-size models during the training. In this paper, we perform a systematic investigation on low-rank CNN training. By identifying the proper low-rank format and performance-improving strategy, we propose ELRT, an efficient low-rank training solution for high-accuracy, high-compactness, low-rank CNN models. Our extensive evaluation results for training various CNNs on different datasets demonstrate the effectiveness of ELRT.
Abstract（参考訳）: 低ランク圧縮は、コンパクト畳み込みニューラルネットワーク(CNN)を低ランクで生成する一般的なモデル圧縮技術であり、文献でよく研究されている。一方、低ランクのCNNをゼロから訓練する代替手段として、低ランクのトレーニングはほとんど利用されていない。低ランク圧縮とは異なり、低ランクトレーニングは事前訓練されたフルランクモデルを必要としない。しかし、既存の低ランクトレーニングソリューションは、相当な精度の低下や、トレーニング中にフルサイズのモデルを更新する必要性など、いくつかの課題に直面している。本稿では,低ランクCNNトレーニングの系統的研究を行う。適切な低ランク形式と性能改善戦略を同定し,高い精度,高パフォーマンス,低ランクCNNモデルのための効率的な低ランクトレーニングソリューションELRTを提案する。異なるデータセット上で各種CNNを訓練するための広範囲な評価結果は,ELRTの有効性を示す。

関連論文リスト

Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
論文参考訳（メタデータ） (2024-10-21T16:52:44Z)
DεpS: Delayed ε-Shrinking for Faster Once-For-All Training [8.199430861588919]
CNNは、さまざまなハードウェア、動的環境、低消費電力組み込みデバイスにデプロイされるようになっている。一度限りのトレーニングは、多くのモデル(サブネット)を一定のトレーニングコストで同時にトレーニングする、スケーラブルなアプローチとして現れました。 Delayed $epsilon$-Shrinking (D$epsilon$pS)を提案する。
論文参考訳（メタデータ） (2024-07-08T17:45:40Z)
Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文参考訳（メタデータ） (2024-06-17T12:24:45Z)
Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
論文参考訳（メタデータ） (2024-05-06T00:58:23Z)
An automated approach for improving the inference latency and energy efficiency of pretrained CNNs by removing irrelevant pixels with focused convolutions [0.8706730566331037]
本稿では,事前学習したCNNを再学習せずによりエネルギー効率良くするための,新しい自動化手法を提案する。修正された集中畳み込み操作は、様々なトレーニング済みCNNにおいて、推論遅延(25%まで)とエネルギーコスト(最大22%まで)を節約します。
論文参考訳（メタデータ） (2023-10-11T18:07:37Z)
Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-08-03T21:49:14Z)
Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文参考訳（メタデータ） (2023-07-21T13:51:45Z)
Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文参考訳（メタデータ） (2022-07-13T09:43:17Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)
FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文参考訳（メタデータ） (2020-12-24T05:24:10Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。