論文の概要: Stochasticity of Deterministic Gradient Descent: Large Learning Rate for Multiscale Objective Function

• arxiv url: http://arxiv.org/abs/2002.06189v2
• Date: Mon, 2 Nov 2020 16:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:50:05.312315
• Title: Stochasticity of Deterministic Gradient Descent: Large Learning Rate for Multiscale Objective Function
• Title（参考訳）: 決定論的勾配勾配の確率性:多目的関数に対する大規模学習率
• Authors: Lingkai Kong and Molei Tao
• Abstract要約: 本稿では, 近似を一切用いない決定論的グラディエントDescentが, 依然として挙動を示すことができることを示唆する。 目的関数がマルチスケールな振る舞いを示す場合,その目的の微視的詳細を解き明かすのではなく,大規模学習率の体系において,決定論的GDダイナミクスはカオスとなる。
• 参考スコア（独自算出の注目度）: 14.46779433267854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article suggests that deterministic Gradient Descent, which does not use any stochastic gradient approximation, can still exhibit stochastic behaviors. In particular, it shows that if the objective function exhibit multiscale behaviors, then in a large learning rate regime which only resolves the macroscopic but not the microscopic details of the objective, the deterministic GD dynamics can become chaotic and convergent not to a local minimizer but to a statistical distribution. A sufficient condition is also established for approximating this long-time statistical limit by a rescaled Gibbs distribution. Both theoretical and numerical demonstrations are provided, and the theoretical part relies on the construction of a stochastic map that uses bounded noise (as opposed to discretized diffusions).
• Abstract（参考訳）: 本稿では, 確率勾配近似を用いない決定論的勾配 Descent が, 確率的挙動を示すことを示唆する。 特に、目的関数がマルチスケールな振る舞いを示す場合、その目的のマクロ的詳細のみを解決し、顕微鏡的詳細ではない大きな学習率体制において、決定論的GDダイナミクスは局所的な最小化ではなく統計的分布にカオス的かつ収束しうることを示す。 また、この長期統計限界を再スケールしたギブス分布を近似するための十分な条件も確立されている。 理論的および数値的な実演は共に提供され、理論的な部分は(離散拡散とは対照的に)有界雑音を用いる確率写像の構成に依存する。

関連論文リスト

• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Mathematical analysis of singularities in the diffusion model under the submanifold assumption [0.0]
  DDPMにおける解析的平均ドリフト関数とSGMにおけるスコア関数が特異データ分布のサンプリングプロセスの最終段階に爆発的に現れることを示す。 我々は新たな目標関数と関連する損失を導出するが、これは特異データ分布においても有界である。
  論文  参考訳（メタデータ） (2023-01-19T05:13:03Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Stochastic Langevin Differential Inclusions with Applications to Machine Learning [5.274477003588407]
  ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。 特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
  論文  参考訳（メタデータ） (2022-06-23T08:29:17Z)
• Concentration analysis of multivariate elliptic diffusion processes [0.0]
  連続時間および離散時間付加関数に対する濃度不等式と関連するPAC境界を証明した。 我々の分析はポアソン方程式によるアプローチに依存しており、非常に幅広い指数的エルゴード過程のクラスを考えることができる。
  論文  参考訳（メタデータ） (2022-06-07T14:15:05Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent [3.0079490585515343]
  勾配降下(SGD)は、消滅する学習率体制において比較的よく理解されている。 SGDとその変異体の基本特性を非退化学習率体系で研究することを提案する。
  論文  参考訳（メタデータ） (2020-12-07T12:31:43Z)
• Fast approximations in the homogeneous Ising model for use in scene analysis [61.0951285821105]
  我々は、推論に必要な量を数値計算できる正確な近似を提供する。 近似式はスケーラブルでマルコフランダム場の大きさに満足できないことを示す。 機能的磁気共鳴イメージングアクティベーション検出実験においてベイズ推論を行い, ピスタチオ樹収量の年次増加の空間パターンにおける異方性に対する確率比試験を行った。
  論文  参考訳（メタデータ） (2017-12-06T14:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。