論文の概要: Understanding the Role of Optimization in Double Descent
- arxiv url: http://arxiv.org/abs/2312.03951v1
- Date: Wed, 6 Dec 2023 23:29:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 16:42:19.744490
- Title: Understanding the Role of Optimization in Double Descent
- Title(参考訳): 二重老化における最適化の役割の理解
- Authors: Chris Yuhao Liu, Jeffrey Flanigan
- Abstract要約: 本稿では、なぜ二重降下が弱いか、全く起こらないのかを簡単な最適化ベースで説明する。
我々の知る限りでは、モデルワイドの二重降下に寄与する多くの異なる要因が最適化の観点から統一されていることを最初に示す。
現実の機械学習のセットアップでは、二重降下が問題になる可能性は低い。
- 参考スコア(独自算出の注目度): 8.010193718024347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The phenomenon of model-wise double descent, where the test error peaks and
then reduces as the model size increases, is an interesting topic that has
attracted the attention of researchers due to the striking observed gap between
theory and practice \citep{Belkin2018ReconcilingMM}. Additionally, while double
descent has been observed in various tasks and architectures, the peak of
double descent can sometimes be noticeably absent or diminished, even without
explicit regularization, such as weight decay and early stopping. In this
paper, we investigate this intriguing phenomenon from the optimization
perspective and propose a simple optimization-based explanation for why double
descent sometimes occurs weakly or not at all. To the best of our knowledge, we
are the first to demonstrate that many disparate factors contributing to
model-wise double descent (initialization, normalization, batch size, learning
rate, optimization algorithm) are unified from the viewpoint of optimization:
model-wise double descent is observed if and only if the optimizer can find a
sufficiently low-loss minimum. These factors directly affect the condition
number of the optimization problem or the optimizer and thus affect the final
minimum found by the optimizer, reducing or increasing the height of the double
descent peak. We conduct a series of controlled experiments on random feature
models and two-layer neural networks under various optimization settings,
demonstrating this optimization-based unified view. Our results suggest the
following implication: Double descent is unlikely to be a problem for
real-world machine learning setups. Additionally, our results help explain the
gap between weak double descent peaks in practice and strong peaks observable
in carefully designed setups.
- Abstract(参考訳): 実験誤差がピークに達し、モデルサイズが大きくなるにつれて減少するモデルワイド・ダブル降下現象は、理論と実践の差が顕著に観測されていることから、研究者の注目を集める興味深いトピックである。
加えて、様々なタスクやアーキテクチャで二重降下が観察されている一方で、重みの減衰や早期停止といった明示的な正規化がなくても、二重降下のピークが顕著に欠如または減少することがある。
本稿では,この興味深い現象を最適化の観点から検討し,なぜ二重降下が弱くなるか全く起こるかという簡単な最適化に基づく説明を提案する。
我々の知識を最大限に活用するため、我々はモデルワイズ二重降下(初期化、正規化、バッチサイズ、学習率、最適化アルゴリズム)に寄与する多くの異なる要因が最適化の観点から統一されることを最初に証明した。
これらの因子は最適化問題やオプティマイザの条件数に直接影響し、オプティマイザが検出した最終最小値に影響を与え、二重降下ピークの高さを減少または増大させる。
ランダムな特徴モデルと2層ニューラルネットワークを様々な最適化条件下で制御した実験を行い、この最適化に基づく統一ビューを実証する。
ダブル降下は、現実世界の機械学習のセットアップでは問題になりそうにない。
さらに,本研究の結果は,弱い2重降下ピークと,慎重に設計した設定で観測可能な強いピークとのギャップを説明するのに役立つ。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [63.99489591661645]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳(メタデータ) (2023-10-16T09:04:28Z) - No Wrong Turns: The Simple Geometry Of Neural Networks Optimization
Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。
2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。
以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-06-20T22:10:40Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳(メタデータ) (2022-04-05T12:52:45Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳(メタデータ) (2021-12-06T18:17:08Z) - On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。
ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。
ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文 参考訳(メタデータ) (2021-07-27T09:13:11Z) - Nonasymptotic theory for two-layer neural networks: Beyond the
bias-variance trade-off [10.182922771556742]
本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。
過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
論文 参考訳(メタデータ) (2021-06-09T03:52:18Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Double Descent Optimization Pattern and Aliasing: Caveats of Noisy
Labels [1.4424394176890545]
この研究は、小さなデータセットとノイズラベルで二重降下が発生することを確認した。
学習率の増大は、二重降下パターンを抑えることなく隠蔽するアナライザー効果を生じさせることを示した。
本研究は,脳波連続記録によるてんかん患者の事象の予測を現実の応用に翻訳したことを示す。
論文 参考訳(メタデータ) (2021-06-03T19:41:40Z) - Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。
トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文 参考訳(メタデータ) (2020-09-29T07:32:30Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。