論文の概要: Improving Generalization and Convergence by Enhancing Implicit Regularization

• arxiv url: http://arxiv.org/abs/2405.20763v3
• Date: Wed, 30 Oct 2024 08:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:24:14.336697
• Title: Improving Generalization and Convergence by Enhancing Implicit Regularization
• Title（参考訳）: 命令規則化の強化による一般化と収束の改善
• Authors: Mingze Wang, Jinbo Wang, Haotian He, Zilin Wang, Guanhua Huang, Feiyu Xiong, Zhiyu Li, Weinan E, Lei Wu,
• Abstract要約: Inlicit Regularization Enhancement (IRE)フレームワークは、ディープラーニングにおけるフラットソリューションの発見を加速する。 IREは、平坦な方向と鋭い方向のダイナミクスを分離し、平坦な方向に沿って鋭さを減少させる。 計算オーバーロードを伴わずに,IREをエムジェネリックベースに事実上組み込むことができることを示す。
• 参考スコア（独自算出の注目度）: 15.806923167905026
• License:
• Abstract: In this work, we propose an Implicit Regularization Enhancement (IRE) framework to accelerate the discovery of flat solutions in deep learning, thereby improving generalization and convergence. Specifically, IRE decouples the dynamics of flat and sharp directions, which boosts the sharpness reduction along flat directions while maintaining the training stability in sharp directions. We show that IRE can be practically incorporated with {\em generic base optimizers} without introducing significant computational overload. Experiments show that IRE consistently improves the generalization performance for image classification tasks across a variety of benchmark datasets (CIFAR-10/100, ImageNet) and models (ResNets and ViTs). Surprisingly, IRE also achieves a $2\times$ {\em speed-up} compared to AdamW in the pre-training of Llama models (of sizes ranging from 60M to 229M) on datasets including Wikitext-103, Minipile, and Openwebtext. Moreover, we provide theoretical guarantees, showing that IRE can substantially accelerate the convergence towards flat minima in Sharpness-aware Minimization (SAM).
• Abstract（参考訳）: 本研究では、ディープラーニングにおけるフラットソリューションの発見を加速し、一般化と収束を改善するために、インプリシト正規化拡張(IRE)フレームワークを提案する。 特にIREは、平坦な方向と鋭い方向のダイナミクスを分離し、鋭い方向のトレーニング安定性を維持しながら、平坦な方向に沿ったシャープネスの低減を促進させる。 We show that IRE can be practically incorporated with {\em generic base optimizationrs} without introduce significant compute overload。 実験の結果、IREはさまざまなベンチマークデータセット(CIFAR-10/100、ImageNet)とモデル(ResNets、ViTs)で画像分類タスクの一般化性能を一貫して改善していることがわかった。 意外なことに、IREはWikitext-103、Minipile、Openwebtextなどのデータセット上のLlamaモデル(60Mから229Mまで)の事前トレーニングにおいてAdamWと比較して2ドル99セントのスピードアップも達成している。 さらに,IREがシャープネス認識最小化(SAM)における平坦な最小値への収束を著しく加速できることを示す理論的保証を提供する。

関連論文リスト

• Efficient and Versatile Robust Fine-Tuning of Zero-shot Models [34.27380518351181]
  本稿では、下流タスクにゼロショットモデルを微調整する新しい手法であるRobust Adapter(R-Adapter)を紹介する。 本手法は, 軽量モジュールを事前学習モデルに統合し, OODロバスト性を高め, 保存コストを大幅に削減するために, 新たな自己アンサンブル技術を用いる。 実験により,R-Adapterは,CLIPエンコーダのパラメータの13%をチューニングし,タスクのさまざまなセットで最先端のパフォーマンスを実現することを確認した。
  論文  参考訳（メタデータ） (2024-08-11T11:37:43Z)
• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Adaptive Data Augmentation for Contrastive Learning [12.526573160980124]
  本稿では,一般的なコントラスト学習ネットワークにクローズドループフィードバック構造を実装したAdDAを提案する。 AdDAは、ネットワークがリアルタイムのフィードバックに応じて拡張構成を適応的に調整できるようにすることで機能する。
  論文  参考訳（メタデータ） (2023-04-05T14:19:38Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [111.44860506703307]
  Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。 本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。 最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。 その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
  論文  参考訳（メタデータ） (2021-06-03T02:08:03Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。