論文の概要: High-dimensional scaling limits and fluctuations of online least-squares
SGD with smooth covariance
- arxiv url: http://arxiv.org/abs/2304.00707v1
- Date: Mon, 3 Apr 2023 03:50:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 16:44:38.914859
- Title: High-dimensional scaling limits and fluctuations of online least-squares
SGD with smooth covariance
- Title（参考訳）: 滑らかな共分散を伴うオンライン最小二乗SGDの高次元スケーリング限界と揺らぎ
- Authors: Krishnakumar Balasubramanian, Promit Ghosal, Ye He
- Abstract要約: オンライン最小二乗勾配 Descent (SGD) アルゴリズムの高次元スケーリング限界とゆらぎを導出する。
導出制限ODEとSDEに対する解の存在と一意性を示す。
- 参考スコア（独自算出の注目度）: 10.635248457021499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We derive high-dimensional scaling limits and fluctuations for the online
least-squares Stochastic Gradient Descent (SGD) algorithm by taking the
properties of the data generating model explicitly into consideration. Our
approach treats the SGD iterates as an interacting particle system, where the
expected interaction is characterized by the covariance structure of the input.
Assuming smoothness conditions on moments of order up to eight orders, and
without explicitly assuming Gaussianity, we establish the high-dimensional
scaling limits and fluctuations in the form of infinite-dimensional Ordinary
Differential Equations (ODEs) or Stochastic Differential Equations (SDEs). Our
results reveal a precise three-step phase transition of the iterates; it goes
from being ballistic, to diffusive, and finally to purely random behavior, as
the noise variance goes from low, to moderate and finally to very-high noise
setting. In the low-noise setting, we further characterize the precise
fluctuations of the (scaled) iterates as infinite-dimensional SDEs. We also
show the existence and uniqueness of solutions to the derived limiting ODEs and
SDEs. Our results have several applications, including characterization of the
limiting mean-square estimation or prediction errors and their fluctuations
which can be obtained by analytically or numerically solving the limiting
equations.
- Abstract（参考訳）: オンライン最小二乗確率勾配降下(sgd)アルゴリズムの高次元スケーリング限界とゆらぎを,データ生成モデルの特性を明示的に考慮して導出する。
提案手法では,SGDを相互作用粒子系として繰り返し処理し,その相互作用は入力の共分散構造によって特徴づけられる。
8階までのモーメント上の滑らか性条件を仮定し、ガウス性を明確に仮定することなく、無限次元常微分方程式(odes)または確率微分方程式(sdes)の形で高次元のスケーリング限界とゆらぎを確立する。
その結果,イテレートの正確な3段階の相転移が明らかになった。弾道性から拡散性,そしてノイズのばらつきが低レベルから中程度に,そして極端に高いノイズ設定へと変化する。
低雑音環境では、(スケールした)反復の正確なゆらぎを無限次元のSDEとして特徴づける。
また、導出制限ODEとSDEに対する解の存在と特異性を示す。
その結果, 限界平均二乗推定や予測誤差のキャラクタリゼーションや, 限界方程式を解析的あるいは数値的に解くことで得られる変動など, いくつかの応用が得られた。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Differentially Private Gradient Flow based on the Sliced Wasserstein Distance [59.1056830438845]
本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。
実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
論文 参考訳（メタデータ） (2023-12-13T15:47:30Z) - Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳（メタデータ） (2023-12-13T02:39:10Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - High-dimensional limit theorems for SGD: Effective dynamics and critical
scaling [6.950316788263433]
我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。
下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。
この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
論文 参考訳（メタデータ） (2022-06-08T17:42:18Z) - Parsimonious Physics-Informed Random Projection Neural Networks for
Initial-Value Problems of ODEs and index-1 DAEs [0.0]
非線形ODEのIDPの線形単純形式とインデックス-1DAEの数値解に対するランダムな投影に基づく物理インフォームニューラルネットワークに対処する。
従来のランダムなプロジェクションに関する研究に基づいて、正準形式におけるODEのスキームと半明示形式におけるインデックス-1DAEの近似能力を証明した。
論文 参考訳（メタデータ） (2022-03-10T12:34:46Z) - Continuous-time stochastic gradient descent for optimizing over the
stationary distribution of stochastic differential equations [7.65995376636176]
定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。
線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
論文 参考訳（メタデータ） (2022-02-14T11:45:22Z) - Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。
本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文 参考訳（メタデータ） (2020-12-09T20:19:32Z) - Probabilistic learning on manifolds constrained by nonlinear partial
differential equations for small datasets [0.0]
The Probabilistic Learning on Manifolds (PLoM) の新たな拡張について紹介する。
これにより、幅広い非線形境界値問題に対する解を合成することができる。
3つのアプリケーションが提示されます。
論文 参考訳（メタデータ） (2020-10-27T14:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。