論文の概要: Rigorous dynamical mean field theory for stochastic gradient descent methods

• arxiv url: http://arxiv.org/abs/2210.06591v1
• Date: Wed, 12 Oct 2022 21:10:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 15:22:18.773533
• Title: Rigorous dynamical mean field theory for stochastic gradient descent methods
• Title（参考訳）: 確率的勾配降下法に対する厳密な動的平均場理論
• Authors: Cedric Gerbelot, Emanuele Troiani, Francesca Mignacco, Florent Krzakala and Lenka Zdeborova
• Abstract要約: 一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。 これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
• 参考スコア（独自算出の注目度）: 20.330247134027168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove closed-form equations for the exact high-dimensional asymptotics of a family of first order gradient-based methods, learning an estimator (e.g. M-estimator, shallow neural network, ...) from observations on Gaussian data with empirical risk minimization. This includes widely used algorithms such as stochastic gradient descent (SGD) or Nesterov acceleration. The obtained equations match those resulting from the discretization of dynamical mean-field theory (DMFT) equations from statistical physics when applied to gradient flow. Our proof method allows us to give an explicit description of how memory kernels build up in the effective dynamics, and to include non-separable update functions, allowing datasets with non-identity covariance matrices. Finally, we provide numerical implementations of the equations for SGD with generic extensive batch-size and with constant learning rates.
• Abstract（参考訳）: 経験的リスク最小化を伴うガウスデータを用いた観測から推定器(例えば、m-推定器、浅いニューラルネットワーク、...)を学習し、一階勾配に基づく手法の厳密な高次元漸近性に対する閉形式方程式を証明した。 これには確率勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。 得られた方程式は、勾配流に適用した場合の統計物理学からの力学平均場理論(DMFT)方程式の離散化の結果と一致する。 提案手法では,メモリカーネルの効率的な動的構造を明示的に記述し,非同一性共分散行列を持つデータセットに非分離性更新関数を含めることができる。 最後に,SGDの一般化されたバッチサイズおよび定常学習率を持つ方程式の数値的実装を提案する。

関連論文リスト

• DynGMA: a robust approach for learning stochastic differential equations from data [13.858051019755283]
  パラメータ化されたSDEの遷移密度に新しい近似を導入する。 本手法は, 完全に未知のドリフト拡散関数の学習において, ベースライン法と比較して精度が高い。 低時間解像度と可変、さらには制御不能な時間ステップサイズでデータを処理できる。
  論文  参考訳（メタデータ） (2024-02-22T12:09:52Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Extracting Stochastic Governing Laws by Nonlocal Kramers-Moyal Formulas [3.8325907381729496]
  我々は、(ガウス)ブラウン運動と(非ガウス)レヴィ運動の両方を用いて、規制法則を抽出するデータ駆動アプローチを提案する。 このアプローチがL'evy運動を伴う微分方程式を学習できることを実証する。
  論文  参考訳（メタデータ） (2021-08-28T04:56:51Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Data Assimilation Networks [1.5545257664210517]
  データ同化は、システムの数学的表現とノイズの観測を組み合わせることで、力学系の状態を予測することを目的としている。 本稿では,再帰的エルマンネットワークとデータ同化アルゴリズムを一般化した完全データ駆動型ディープラーニングアーキテクチャを提案する。 本アーキテクチャは, 明示的な正規化手法を使わずに, システム状態の確率密度関数の解析と伝播の両面において, EnKF に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2020-10-19T17:35:36Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)
• A Data-Driven Approach for Discovering Stochastic Dynamical Systems with Non-Gaussian Levy Noise [5.17900889163564]
  ノイズの多いデータセットから規制法則を抽出する新しいデータ駆動手法を開発した。 まず, ドリフト係数, 拡散係数, ジャンプ測度を表現し, 実現可能な理論的枠組みを確立する。 そこで我々は, ドリフト, 拡散係数, ジャンプ測度を計算する数値アルゴリズムを設計し, ガウス雑音および非ガウス雑音による支配方程式を抽出する。
  論文  参考訳（メタデータ） (2020-05-07T21:29:17Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。