論文の概要: Dual Stochastic Natural Gradient Descent and convergence of interior
half-space gradient approximations
- arxiv url: http://arxiv.org/abs/2001.06744v2
- Date: Fri, 30 Apr 2021 16:45:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-08 10:13:55.055721
- Title: Dual Stochastic Natural Gradient Descent and convergence of interior
half-space gradient approximations
- Title（参考訳）: 二つの確率的自然勾配 Descent と内部半空間勾配近似の収束
- Authors: Borja S\'anchez-L\'opez and Jesus Cerquides
- Abstract要約: 多項ロジスティック回帰(MLR)は統計学や機械学習で広く使われている。
勾配降下(SGD)は、ビッグデータシナリオにおけるMLRモデルのパラメータを決定する最も一般的な手法である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The multinomial logistic regression (MLR) model is widely used in statistics
and machine learning. Stochastic gradient descent (SGD) is the most common
approach for determining the parameters of a MLR model in big data scenarios.
However, SGD has slow sub-linear rates of convergence. A way to improve these
rates of convergence is to use manifold optimization. Along this line,
stochastic natural gradient descent (SNGD), proposed by Amari, was proven to be
Fisher efficient when it converged. However, SNGD is not guaranteed to converge
and it is computationally too expensive for MLR models with a large number of
parameters.
Here, we propose a stochastic optimization method for MLR based on manifold
optimization concepts which (i) has per-iteration computational complexity is
linear in the number of parameters and (ii) can be proven to converge.
To achieve (i) we establish that the family of joint distributions for MLR is
a dually flat manifold and we use that to speed up calculations.
S\'anchez-L\'opez and Cerquides have recently introduced convergent stochastic
natural gradient descent (CSNGD), a variant of SNGD whose convergence is
guaranteed. To obtain (ii) our algorithm uses the fundamental idea from CSNGD,
thus relying on an independent sequence to build a bounded approximation of the
natural gradient. We call the resulting algorithm dual stochastic natural
gradient descent (DNSGD). By generalizing a result from Sunehag et al., we
prove that DSNGD converges. Furthermore, we prove that the computational
complexity of DSNGD iterations are linear on the number of variables of the
model.
- Abstract（参考訳）: 多項ロジスティック回帰(MLR)モデルは統計学や機械学習で広く使われている。
確率勾配降下(SGD)は、ビッグデータシナリオにおけるMLRモデルのパラメータを決定する最も一般的な手法である。
しかし、SGDは収束速度が遅い。
これらの収束率を改善する方法は、多様体最適化を使用することである。
この線に沿って、アマリが提唱した確率的自然勾配降下(SNGD)が収束するとフィッシャー効率が証明された。
しかし、SNGDは収束することが保証されておらず、多くのパラメータを持つMLRモデルでは計算コストが高すぎる。
本稿では,多様体最適化の概念に基づくMLRの確率的最適化手法を提案する。
(i)文単位の計算複雑性はパラメータ数で線形である。
(ii)は収束することが証明できる。
達成するために
i) MLR の関節分布の族が双対平坦な多様体であることを確立し,それを計算の高速化に利用する。
S'anchez-L\'opez と Cerquides は、収束を保証する SNGD の変種である収束確率的自然勾配降下 (CSNGD) を導入した。
入手する
(II)本アルゴリズムはCSNGDの基本的な考え方を用いて,自然勾配の有界近似を構築するために,独立シーケンスに依存する。
結果のアルゴリズムを双対確率的自然勾配勾配 (DNSGD) と呼ぶ。
Sunehag らの結果を一般化することにより、DSNGD が収束することを証明する。
さらに、DSNGD反復の計算複雑性がモデルの変数数に線形であることを証明する。
関連論文リスト
- Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。
本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。
対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。
我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
論文 参考訳（メタデータ） (2024-05-27T00:53:18Z) - Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex
Penalties [8.294148737585543]
本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。
本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-04T21:48:51Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Improving Computational Complexity in Statistical Models with
Second-Order Information [32.64382185990981]
パラメトリック統計モデルにおけるパラメータ推定のための正規化勾配降下法(NormGD)について検討する。
我々は、NormGDアルゴリズムが最終的な統計的半径に達するために最適な計算量$mathcalO(n)$を達成することを示した。
この計算複雑性は、固定ステップサイズ勾配勾配アルゴリズムよりも安価である。
論文 参考訳（メタデータ） (2022-02-09T01:32:50Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Laplace Matching for fast Approximate Inference in Generalized Linear
Models [27.70274403550477]
本論文では,高い近似品質を実現しつつ,計算的に安価に設計した近似推論フレームワークを提案する。
我々が emphLaplace Matching と呼ぶこの概念は、指数群のパラメータ空間間の閉形式、近似、双方向変換を含む。
これにより、GLMにおける推論を(小さな近似誤差で)共役推論に変換する。
論文 参考訳（メタデータ） (2021-05-07T08:25:17Z) - Convergence Analysis of Homotopy-SGD for non-convex optimization [43.71213126039448]
ホモトピー法とSGDを組み合わせた一階述語アルゴリズム、Gradienty-Stoch Descent (H-SGD)を提案する。
いくつかの仮定の下で、提案した問題の理論的解析を行う。
実験の結果,H-SGDはSGDより優れていた。
論文 参考訳（メタデータ） (2020-11-20T09:50:40Z) - Convergence of Meta-Learning with Task-Specific Adaptation over Partial
Parameters [152.03852111442114]
モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。
本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
論文 参考訳（メタデータ） (2020-06-16T19:57:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。