論文の概要: On the Theoretical Properties of Noise Correlation in Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2209.09162v1
• Date: Mon, 19 Sep 2022 16:32:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 20:16:22.318045
• Title: On the Theoretical Properties of Noise Correlation in Stochastic Optimization
• Title（参考訳）: 確率最適化における雑音相関の理論的性質について
• Authors: Aurelien Lucchi, Frank Proske, Antonio Orvieto, Francis Bach, Hans Kersting
• Abstract要約: PGDとアンチPGDに比較して,fPGDは探索能力を有することを示す。 これらの結果は、機械学習モデルにノイズを利用する新しい方法へとフィールドを開放する。
• 参考スコア（独自算出の注目度）: 6.970991851511823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Studying the properties of stochastic noise to optimize complex non-convex functions has been an active area of research in the field of machine learning. Prior work has shown that the noise of stochastic gradient descent improves optimization by overcoming undesirable obstacles in the landscape. Moreover, injecting artificial Gaussian noise has become a popular idea to quickly escape saddle points. Indeed, in the absence of reliable gradient information, the noise is used to explore the landscape, but it is unclear what type of noise is optimal in terms of exploration ability. In order to narrow this gap in our knowledge, we study a general type of continuous-time non-Markovian process, based on fractional Brownian motion, that allows for the increments of the process to be correlated. This generalizes processes based on Brownian motion, such as the Ornstein-Uhlenbeck process. We demonstrate how to discretize such processes which gives rise to the new algorithm fPGD. This method is a generalization of the known algorithms PGD and Anti-PGD. We study the properties of fPGD both theoretically and empirically, demonstrating that it possesses exploration abilities that, in some cases, are favorable over PGD and Anti-PGD. These results open the field to novel ways to exploit noise for training machine learning models.
• Abstract（参考訳）: 複雑な非凸関数を最適化するための確率ノイズの特性の研究は、機械学習の分野で活発な研究領域となっている。 先行研究では、確率的勾配降下のノイズは、景観の望ましくない障害物を克服することで最適化を改善することが示されている。 さらに, 人工ガウスノイズの注入は, サドルポイントを素早く回避するための一般的なアイデアとなっている。 実際、信頼できる勾配情報がない場合、ノイズは風景を探索するために使用されるが、どのタイプのノイズが探査能力の点で最適かは定かではない。 この知識のギャップを狭めるために、分数的ブラウン運動に基づいて連続時間非マルコフ過程の一般的なタイプを研究し、それによって過程の増分を相関させることができる。 これは、オルンシュタイン・ウレンベック過程のようなブラウン運動に基づく過程を一般化する。 本稿では,新しいアルゴリズムであるfPGDを生じるプロセスの識別方法について述べる。 この手法は既知のアルゴリズムpgdとアンチpgdの一般化である。 我々は,fPGDの特性を理論的にも実証的にも検討し,PGDやアンチPGDよりも良好な探索能力を有することを示した。 これらの結果は、機械学習モデルのトレーニングにノイズを利用する新しい方法を開拓する。

関連論文リスト

• Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency [18.17090625880964]
  本研究では,分布から引き出されたランダムサンプルを用いて領域を探索する手法について検討する。 このランダム探索手法が最適誤差率を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-23T20:30:44Z)
• Representing Noisy Image Without Denoising [91.73819173191076]
  ラドン空間におけるフラクショナルオーダーモーメント(FMR)は、ノイズの多い画像から直接ロバストな表現を引き出すように設計されている。 従来の整数順序法とは異なり、我々の研究は特別な場合のような古典的手法を取り入れたより汎用的な設計である。
  論文  参考訳（メタデータ） (2023-01-18T10:13:29Z)
• Anticorrelated Noise Injection for Improved Generalization [6.970991851511823]
  勾配降下(GD)に人工ノイズを注入することで、機械学習モデルの性能を向上させることが一般的である。 しかし、これが最適かどうか、あるいは他の種類のノイズがより良い一般化性能を提供できるかどうかは不明である。 我々は,抗相関性摂動(Anti-PGD)を持つGDが,GDと標準(非相関性)PGDよりもはるかに良く一般化することを示す,様々な目的関数を考察する。
  論文  参考訳（メタデータ） (2022-02-06T18:52:21Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis [0.0]
  特定の雑音条件下では、最適化アルゴリズムは、同質雑音を伴う連続時間SGDの平坦な最小選択とは異なる意味で、目的関数の「平坦な」ミニマを好むことを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:34:32Z)
• Stochastic gradient descent with noise of machine learning type. Part I: Discrete time analysis [0.0]
  勾配降下(SGD)は、現代の機械学習で最も人気のあるアルゴリズムの1つです。 本稿では,エネルギランドスケープの一般的な性質と,機械学習問題で発生するノイズについて論じる。
  論文  参考訳（メタデータ） (2021-05-04T17:52:20Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)
• Using deep learning to understand and mitigate the qubit noise environment [0.0]
  本稿では,量子ビット上の時間力学測定から正確な雑音スペクトルを抽出する手法を提案する。 任意の浴槽に囲まれた任意のキュービットに付随する雑音スペクトルを抽出するニューラルネットワークに基づく手法を実証する。 この結果は、様々なキュービットプラットフォームに適用でき、キュービット性能を改善するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-05-03T17:13:14Z)
• Active Model Estimation in Markov Decision Processes [108.46146218973189]
  マルコフ決定過程(MDP)をモデル化した環境の正確なモデル学習のための効率的な探索の課題について検討する。 マルコフに基づくアルゴリズムは,本アルゴリズムと極大エントロピーアルゴリズムの両方を小サンプル方式で上回っていることを示す。
  論文  参考訳（メタデータ） (2020-03-06T16:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。