論文の概要: One Period to Rule Them All: Identifying Critical Learning Periods in Deep Networks

• arxiv url: http://arxiv.org/abs/2506.15954v1
• Date: Thu, 19 Jun 2025 01:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.90434
• Title: One Period to Rule Them All: Identifying Critical Learning Periods in Deep Networks
• Title（参考訳）: 深層ネットワークにおけるクリティカルラーニング期間の特定
• Authors: Vinicius Yuiti Fukase, Heitor Gama, Barbara Bueno, Lucas Libanio, Anna Helena Reali Costa, Artur Jordao,
• Abstract要約: 批判的学習期間は、多くのトレーニングレシピの成功において初期のエポックが決定的な役割を果たす深層学習を含む重要な現象を理解する。 深層ニューラルネットワークのトレーニングにおける臨界周期を同定するための体系的アプローチを提案する。 これらの期間を超えて資源集約的なレシピを停止させることで、学習フェーズを著しく加速し、トレーニング時間、エネルギー消費、CO$排出の削減を実現します。
• 参考スコア（独自算出の注目度）: 1.5668340212975447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Critical Learning Periods comprehend an important phenomenon involving deep learning, where early epochs play a decisive role in the success of many training recipes, such as data augmentation. Existing works confirm the existence of this phenomenon and provide useful insights. However, the literature lacks efforts to precisely identify when critical periods occur. In this work, we fill this gap by introducing a systematic approach for identifying critical periods during the training of deep neural networks, focusing on eliminating computationally intensive regularization techniques and effectively applying mechanisms for reducing computational costs, such as data pruning. Our method leverages generalization prediction mechanisms to pinpoint critical phases where training recipes yield maximum benefits to the predictive ability of models. By halting resource-intensive recipes beyond these periods, we significantly accelerate the learning phase and achieve reductions in training time, energy consumption, and CO$_2$ emissions. Experiments on standard architectures and benchmarks confirm the effectiveness of our method. Specifically, we achieve significant milestones by reducing the training time of popular architectures by up to 59.67%, leading to a 59.47% decrease in CO$_2$ emissions and a 60% reduction in financial costs, without compromising performance. Our work enhances understanding of training dynamics and paves the way for more sustainable and efficient deep learning practices, particularly in resource-constrained environments. In the era of the race for foundation models, we believe our method emerges as a valuable framework. The repository is available at https://github.com/baunilhamarga/critical-periods
• Abstract（参考訳）: 批判的な学習期間は、深層学習にまつわる重要な現象を理解しており、初期のエポックがデータ拡張のような多くのトレーニングレシピの成功に決定的な役割を果たす。 現存する研究は、この現象の存在を確認し、有用な洞察を与えている。 しかし、この文献は臨界期の発生時期を正確に特定する努力を欠いている。 本研究では,深層ニューラルネットワークのトレーニングにおける臨界周期を同定するための体系的アプローチを導入し,計算集約的な正規化手法を排除し,データプルーニングなどの計算コストを削減するメカニズムを効果的に適用することで,このギャップを埋める。 提案手法は一般化予測機構を利用して,モデルの予測能力に対して,トレーニングレシピが最大限の恩恵をもたらす臨界位相をピンポイントする。 これらの期間を超えて資源集約的なレシピを停止させることで、学習フェーズを著しく加速し、トレーニング時間、エネルギー消費、CO$2$排出の削減を実現します。 標準アーキテクチャとベンチマークの実験により,本手法の有効性が確認された。 具体的には、一般的な建築のトレーニング時間を最大59.67%削減し、CO$2ドルの排出量を59.47%削減し、パフォーマンスを損なうことなく財政コストを60%削減することで、大きな節目を達成した。 我々の研究は、特に資源制約のある環境において、トレーニングダイナミクスの理解を高め、より持続的で効率的なディープラーニングプラクティスの道を開く。 基礎モデルの競争の時代、我々の手法は価値あるフレームワークとして現れると信じている。 リポジトリはhttps://github.com/baunilhamarga/ critical- periodsで公開されている。

関連論文リスト

• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Improving Continual Learning Performance and Efficiency with Auxiliary Classifiers [12.561018201238152]
  ニューラルネットワーク層における中間表現は忘れがちであり、計算を高速化する可能性を強調している。 また,ACを用いて推定平均コストを10～60%削減する。
  論文  参考訳（メタデータ） (2024-03-12T08:33:26Z)
• Critical Learning Periods Emerge Even in Deep Linear Networks [102.89011295243334]
  クリティカルラーニング期間(Critical Learning periods)は、一時的な感覚障害が行動や学習表現に恒久的な影響を及ぼす発達初期の期間である。 生物学的ネットワークと人工ネットワークの急激な違いにもかかわらず、両方のシステムで臨界学習期間が経験的に観察されている。
  論文  参考訳（メタデータ） (2023-08-23T16:01:50Z)
• Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
  複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。 強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-11-23T19:17:20Z)
• Compute-Efficient Deep Learning: Algorithmic Trends and Opportunities [18.508401650991434]
  ニューラルネットワークのトレーニングの経済的および環境的コストは、持続不可能になりつつある。 *アルゴリズム的に効率のよいディープラーニングの研究*は、トレーニングプログラムの意味論の変化を通じて、トレーニングコストを削減しようとしている。 アルゴリズム的に効率的な学習の基本的な構成要素を用いて分類学を開発する。
  論文  参考訳（メタデータ） (2022-10-13T00:40:04Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Network Pruning That Matters: A Case Study on Retraining Variants [11.503165599245467]
  本研究では,異なる再訓練機構の有効性について検討する。 ランダムに刈り取られたネットワークは、系統的に刈り取られたネットワークよりも優れた性能を達成できるという、直観に反する現象を示す。
  論文  参考訳（メタデータ） (2021-05-07T12:03:24Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。