論文の概要: Rethinking the Potential of Layer Freezing for Efficient DNN Training

• arxiv url: http://arxiv.org/abs/2508.15033v1
• Date: Wed, 20 Aug 2025 19:54:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.079267
• Title: Rethinking the Potential of Layer Freezing for Efficient DNN Training
• Title（参考訳）: 効率的なDNNトレーニングのための層凍結の可能性の再考
• Authors: Chence Yang, Ci Zhang, Lei Lu, Qitao Tan, Sheng Li, Ao Li, Xulong Tang, Shaoyi Huang, Jinzhen Wang, Guoming Li, Jundong Li, Xiaoming Zhai, Jin Lu, Geng Yuan,
• Abstract要約: ネットワークトレーニングのコストを効果的に削減するための有望な手法として,レイヤ凍結技術が注目されている。 従来の凍結法では、凍結しない層の特徴マップを生成するために、前方伝播には凍結層が依然として必要である。 凍結した層から特徴マップを新しいデータセットとしてキャッシュし、後続の層が格納された特徴マップ上で直接トレーニングできる仮説解を提案する。
• 参考スコア（独自算出の注目度）: 43.509834988084144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growing size of deep neural networks and datasets, the computational costs of training have significantly increased. The layer-freezing technique has recently attracted great attention as a promising method to effectively reduce the cost of network training. However, in traditional layer-freezing methods, frozen layers are still required for forward propagation to generate feature maps for unfrozen layers, limiting the reduction of computation costs. To overcome this, prior works proposed a hypothetical solution, which caches feature maps from frozen layers as a new dataset, allowing later layers to train directly on stored feature maps. While this approach appears to be straightforward, it presents several major challenges that are severely overlooked by prior literature, such as how to effectively apply augmentations to feature maps and the substantial storage overhead introduced. If these overlooked challenges are not addressed, the performance of the caching method will be severely impacted and even make it infeasible. This paper is the first to comprehensively explore these challenges and provides a systematic solution. To improve training accuracy, we propose \textit{similarity-aware channel augmentation}, which caches channels with high augmentation sensitivity with a minimum additional storage cost. To mitigate storage overhead, we incorporate lossy data compression into layer freezing and design a \textit{progressive compression} strategy, which increases compression rates as more layers are frozen, effectively reducing storage costs. Finally, our solution achieves significant reductions in training cost while maintaining model accuracy, with a minor time overhead. Additionally, we conduct a comprehensive evaluation of freezing and compression strategies, providing insights into optimizing their application for efficient DNN training.
• Abstract（参考訳）: ディープニューラルネットワークやデータセットのサイズが大きくなるにつれて、トレーニングの計算コストが大幅に向上した。 近年,ネットワークトレーニングのコストを効果的に削減するための有望な手法として,層凍結技術が注目されている。 しかし, 従来の凍結法では, 未凍結層の特徴写像を生成するために, 前方伝播には凍結層が依然として必要であり, 計算コストの削減が制限されている。 これを解決するために、以前の研究では、凍結したレイヤからフィーチャーマップを新しいデータセットとしてキャッシュする仮説的なソリューションを提案していた。 このアプローチは単純であるように思われるが、機能マップに効果的に拡張を適用する方法や、導入されたストレージオーバーヘッドなど、以前の文献では著しく見落とされがちないくつかの大きな課題が提示されている。 これらの見落としている課題に対処しなければ、キャッシングメソッドのパフォーマンスは深刻な影響を受け、実現不可能になります。 本稿は、これらの課題を包括的に探求し、体系的な解決策を提供する最初の論文である。 トレーニング精度を向上させるために,最小追加ストレージコストでチャネルを高感度でキャッシュする「textit{similarity-aware channel augmentation」を提案する。 ストレージのオーバーヘッドを軽減するため、損失データ圧縮を層凍結に組み込み、より多くの層が凍結するにつれて圧縮率を高め、ストレージコストを効果的に削減する \textit{progressive compression} 戦略を設計する。 最後に,モデル精度を維持しながらトレーニングコストを大幅に削減し,時間的オーバーヘッドを小さく抑える方法を提案する。 さらに、凍結・圧縮戦略の包括的な評価を行い、効率的なDNNトレーニングのための最適化に関する洞察を提供する。

関連論文リスト

• LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging [20.774060844559838]
  既存の深度圧縮法では、冗長な非線形活性化関数を除去し、連続する畳み込み層を単一の層にマージする。 これらの手法は、マージされたレイヤのカーネルサイズが大きくなるという重大な欠点に悩まされる。 畳み込み層とアクティベーション関数を併用することにより,この問題に対処できることを示す。 本稿では,どのアクティベーション層と畳み込み層を除去するかを選択するディープ圧縮手法であるLayerMergeを提案する。
  論文  参考訳（メタデータ） (2024-06-18T17:55:15Z)
• SmartFRZ: An Efficient Training Framework using Attention-Based Layer Freezing [49.09164307779104]
  モデルトレーニングのための汎用的で効率的なトレーニングフレームワーク(SmartFRZ)を提案する。 SmartFRZは注意誘導層凍結であり、凍結する適切な層を自動的に選択することができる。 実験結果から,SmartFRZはトレーニング中の計算量を効果的に削減し,トレーニングアクセラレーションの大幅な向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-01-30T03:34:27Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Layer Freezing & Data Sieving: Missing Pieces of a Generic Framework for Sparse Training [48.152207339344564]
  層凍結とデータシービングをスパーストレーニングアルゴリズムに組み込んで汎用フレームワークを構築できることを示す。 実験の結果,SpFDEは重み空間,層凍結,データセット収集の3次元から精度を保ちながら,トレーニングコストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-22T17:45:23Z)
• Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
  最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。 モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。 この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
  論文  参考訳（メタデータ） (2022-05-17T05:37:08Z)
• Accelerating Deep Learning Inference via Freezing [8.521443408415868]
  本稿では,各中間層に近似キャッシュを導入するフリーズ推論を提案する。 これにより、ResNet-18上で実行されるCIFAR-10リクエストの91.58%に対して、有効レイヤの数を半分に削減できる可能性がある。
  論文  参考訳（メタデータ） (2020-02-07T07:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。