Fugu-MT 論文翻訳(概要): Convergence guarantees for forward gradient descent in the linear regression model

論文の概要: Convergence guarantees for forward gradient descent in the linear regression model

arxiv url: http://arxiv.org/abs/2309.15001v1
Date: Tue, 26 Sep 2023 15:15:10 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 13:14:22.198271
Title: Convergence guarantees for forward gradient descent in the linear regression model
Title（参考訳）: 線形回帰モデルにおける前方勾配降下の収束保証
Authors: Thijs Bos and Johannes Schmidt-Hieber
Abstract要約: 本研究では, 生物学的に動機づけられた(重み付けされた)前方勾配スキームについて, 勾配のランダムな線形結合に基づく検討を行った。この方法の平均二乗誤差が$kgtrsim d2log(d)$に対して$d2log(d)/k.$で収束することを証明する。
参考スコア（独自算出の注目度）: 6.436174170552484
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Renewed interest in the relationship between artificial and biological neural networks motivates the study of gradient-free methods. Considering the linear regression model with random design, we theoretically analyze in this work the biologically motivated (weight-perturbed) forward gradient scheme that is based on random linear combination of the gradient. If d denotes the number of parameters and k the number of samples, we prove that the mean squared error of this method converges for $k\gtrsim d^2\log(d)$ with rate $d^2\log(d)/k.$ Compared to the dimension dependence d for stochastic gradient descent, an additional factor $d\log(d)$ occurs.
Abstract（参考訳）: 人工ニューラルネットワークと生物学的ニューラルネットワークの関係に対する新たな関心は、勾配のない手法の研究を動機付けている。ランダムな設計による線形回帰モデルを考えると、この研究において、勾配のランダムな線形結合に基づく生物学的動機付け(重み付き)前方勾配スキームを理論的に解析する。 d がパラメータの数を表し、k がサンプル数を表すなら、この方法の平均二乗誤差は $k\gtrsim d^2\log(d)$ と $d^2\log(d)/k と収束する。 $ を確率勾配降下の次元依存 d と比較すると、追加の係数 $d\log(d)$ が生じる。

関連論文リスト

Improving the Convergence Rates of Forward Gradient Descent with Repeated Sampling [5.448070998907116]
前向き勾配降下(FGD)は、生物学的により妥当な勾配降下の代替として提案されている。本稿では、各トレーニングサンプルに基づいて、$ell$FGDステップを計算することにより、この亜最適係数が$d/(ell wedge d)$となることを示す。また、繰り返しサンプリングしたFGDは入力分布の低次元構造に適応できることを示す。
論文参考訳（メタデータ） (2024-11-26T16:28:16Z)
Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文参考訳（メタデータ） (2024-10-21T09:39:10Z)
Gradient Descent Converges Linearly for Logistic Regression on Separable Data [17.60502131429094]
変動学習率による勾配勾配降下は損失$f(x) leq 1.1 cdot f(x*) + epsilon$ロジスティック回帰目標を示す。また、ロジスティックなレグレッションを緩やかなレグレッションに適用し、スペルシ・エラーのトレードオフを指数関数的に改善する。
論文参考訳（メタデータ） (2023-06-26T02:15:26Z)
Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文参考訳（メタデータ） (2022-11-30T05:33:29Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of Continuous-Time State-Space Models [0.0]
連続時間状態空間モデルのクラスに対する静的パラメータ推定について検討する。私たちのゴールは、ログライクリフの勾配(スコア関数)の偏りのない推定値を得ることです。
論文参考訳（メタデータ） (2021-05-24T20:31:48Z)
Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文参考訳（メタデータ） (2020-10-22T05:04:38Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent [28.148743710421932]
ミニバッチ勾配勾配(SGD)アルゴリズムは機械学習モデルのトレーニングに広く用いられている。線形回帰および2層線形ネットワーク下でのSGDダイナミクスについて検討し,より深い線形ネットワークへの拡張を容易にする。
論文参考訳（メタデータ） (2020-04-27T20:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。