論文の概要: Noise Stability Optimization for Flat Minima with Tight Rates
- arxiv url: http://arxiv.org/abs/2306.08553v2
- Date: Sun, 1 Oct 2023 20:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 14:03:12.871576
- Title: Noise Stability Optimization for Flat Minima with Tight Rates
- Title(参考訳): タイトレート平板ミニマの騒音安定性最適化
- Authors: Haotian Ju, Dongyue Li, and Hongyang R. Zhang
- Abstract要約: 一般化特性は学習アルゴリズムの設計と解析の中心的な側面である。
多くの先行研究において、良い一般化につながると考えられてきた概念は、平らなミニマである。
- 参考スコア(独自算出の注目度): 18.009376840944284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalization properties are a central aspect of the design and analysis of
learning algorithms. One notion that has been considered in many previous works
as leading to good generalization is flat minima, which informally describes a
loss surface that is insensitive to noise perturbations. However, the design of
efficient algorithms (that are easy to analyze) to find them is relatively
under-explored. In this paper, we propose a new algorithm to address this
issue, which minimizes a stochastic optimization objective that averages noise
perturbations injected into the weights of a function. This algorithm is shown
to enjoy both theoretical and empirical advantages compared to existing
algorithms involving worst-case perturbations. Theoretically, we show tight
convergence rates of our algorithm to find first-order stationary points of the
stochastic objective. Empirically, the algorithm induces a penalty on the trace
of the Hessian, leading to iterates that are flatter than SGD and other
alternatives, with tighter generalization gaps. Altogether, this work
contributes a provable and practical algorithm to find flat minima by
optimizing the noise stability properties of a function.
- Abstract(参考訳): 一般化特性は学習アルゴリズムの設計と解析の中心的な側面である。
従来の多くの作品において、良い一般化につながると考えられてきた概念は、ノイズ摂動に敏感な損失曲面を非公式に記述した平坦なミニマである。
しかし、それらを発見するための効率的なアルゴリズム(分析が容易な)の設計は、比較的未検討である。
本稿では,関数の重み付けに注入される雑音の摂動を平均化する確率的最適化目標を最小化する,この問題に対処する新しいアルゴリズムを提案する。
このアルゴリズムは, 最悪の摂動を含む既存のアルゴリズムと比較して, 理論的および経験的優位性の両方を享受できることが示されている。
理論的には、確率的目的の1次定常点を求めるアルゴリズムの厳密な収束率を示す。
経験的に、アルゴリズムはヘッセンのトレース上でペナルティを誘導し、SGDや他の代替よりも平坦な反復を、より厳密な一般化ギャップで導く。
この研究は、関数の雑音安定性特性を最適化することにより、平坦な最小値を求めるための証明可能かつ実用的なアルゴリズムに寄与する。
関連論文リスト
- How to escape sharp minima with random perturbations [54.05440117388505]
平らなミニマの概念とそれらを見つける複雑さについて研究する。
一般的なコスト関数に対して、近似平坦な局所最小値を求める勾配に基づくアルゴリズムについて論じる。
コスト関数がトレーニングデータよりも経験的リスクであるような環境では、シャープネス認識最小化と呼ばれる最近提案された実用的なアルゴリズムにインスパイアされたより高速なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-25T02:12:33Z) - Quantization-Based Optimization: Alternative Stochastic Approximation of
Global Optimization [0.0]
NP-hard問題における目的関数のエネルギーレベルを定量化するための大域的最適化アルゴリズムを提案する。
数値実験により,提案アルゴリズムはNP-ハード最適化問題の解法において従来の学習法よりも優れていた。
論文 参考訳(メタデータ) (2022-11-08T03:01:45Z) - Exploring the Algorithm-Dependent Generalization of AUPRC Optimization
with List Stability [107.65337427333064]
AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。
本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。
3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
論文 参考訳(メタデータ) (2022-09-27T09:06:37Z) - Greedy versus Map-based Optimized Adaptive Algorithms for
random-telegraph-noise mitigation by spectator qubits [6.305016513788048]
データストレージキュービットを可能な限り分離したままにしておくシナリオでは、ノイズプローブを追加してノイズ軽減を行うことができる。
量子ビット上の射影的測定を仮定した理論モデルを構築し、異なる測定・制御戦略の性能を導出する。
解析的および数値的に、MOAAARは、特にSQの高雑音感度状態において、Greedyアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-25T08:25:10Z) - Accelerated SGD for Non-Strongly-Convex Least Squares [14.010916616909743]
非強凸設定における最小二乗回帰問題の近似を考察する。
本稿では,問題のノイズに依存して最適な予測誤差率を実現するための,最初の実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-03T14:39:33Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Asymptotic study of stochastic adaptive algorithm in non-convex
landscape [2.1320960069210484]
本稿では、最適化や機械学習に広く用いられる適応アルゴリズムの仮定特性について検討する。
このうちAdagradとRmspropは、ブラックボックスのディープラーニングアルゴリズムの大部分に関与している。
論文 参考訳(メタデータ) (2020-12-10T12:54:45Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳(メタデータ) (2020-06-14T10:42:23Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳(メタデータ) (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。