Fugu-MT 論文翻訳(概要): Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features

論文の概要: Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features

arxiv url: http://arxiv.org/abs/2402.07626v2
Date: Mon, 10 Jun 2024 10:25:14 GMT
ステータス: 処理完了
システム内更新日: 2024-06-12 01:43:22.583791
Title: Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features
Title（参考訳）: 試験リスクの確率勾配流れのダイナミクスとその弱特性に対する厳密解
Authors: Rodrigo Veiga, Anastasia Remizova, Nicolas Macris,
Abstract要約: 純勾配の試験リスク曲線と勾配流の差を計算する式を提供する。我々は、動的に加えた項によって引き起こされる補正を明示的に計算する。解析結果は離散時間勾配降下のシミュレーションと比較し,良好な一致を示した。
参考スコア（独自算出の注目度）: 8.645858565518155
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate the test risk of continuous-time stochastic gradient flow dynamics in learning theory. Using a path integral formulation we provide, in the regime of a small learning rate, a general formula for computing the difference between test risk curves of pure gradient and stochastic gradient flows. We apply the general theory to a simple model of weak features, which displays the double descent phenomenon, and explicitly compute the corrections brought about by the added stochastic term in the dynamics, as a function of time and model parameters. The analytical results are compared to simulations of discrete-time stochastic gradient descent and show good agreement.
Abstract（参考訳）: 学習理論における連続時間確率勾配流力学のテストリスクについて検討する。経路積分の定式化を用いて, 学習率の低い状況下では, 純勾配と確率勾配の試験リスク曲線の差を計算するための一般式を提供する。この理論を、二重降下現象を呈する弱い特徴の単純なモデルに適用し、時間とモデルパラメータの関数として、動的に加えた確率項による補正を明示的に計算する。解析結果は離散時間確率勾配降下のシミュレーションと比較し,良好な一致を示した。

関連論文リスト

Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
論文参考訳（メタデータ） (2023-06-09T13:43:07Z)
Reservoir Computing with Error Correction: Long-term Behaviors of Stochastic Dynamical Systems [5.815325960286111]
本稿では,Reservoir Computingと正規化フローを組み合わせたデータ駆動型フレームワークを提案する。提案手法の有効性をVan der Pal, El Nino-Southern Oscillation Simple model, Lorenz system などいくつかの実験で検証した。
論文参考訳（メタデータ） (2023-05-01T05:50:17Z)
Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent [1.2031796234206138]
そこで我々は,修正フローと呼ばれる小学習率体系における勾配降下に対する新しい制限ダイナミクスを提案する。これらのSDEは円筒状ブラウン運動によって駆動され、正規拡散係数を持ち、多点統計値に一致することによって、いわゆる修正方程式を改善する。
論文参考訳（メタデータ） (2023-02-14T15:33:59Z)
Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文参考訳（メタデータ） (2022-11-30T05:33:29Z)
Rigorous dynamical mean field theory for stochastic gradient descent methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文参考訳（メタデータ） (2022-10-12T21:10:55Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by Normalizing Flows [29.310742141970394]
我々は,世界規模で安定な非線形力学を学習できる新しいDeep生成モデルであるImitationFlowを紹介した。提案手法の有効性を,標準データセットと実ロボット実験の両方で示す。
論文参考訳（メタデータ） (2020-10-25T14:49:46Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。連続次元勾配流に拡張可能なプロトタイププロセスを定義する。フルバッチ限界では、標準勾配流を回復する。
論文参考訳（メタデータ） (2020-06-10T22:49:41Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。