論文の概要: Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications
- arxiv url: http://arxiv.org/abs/2006.16376v1
- Date: Mon, 29 Jun 2020 20:57:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:22:07.038008
- Title: Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications
- Title（参考訳）: 事前条件付き確率勾配MCMCによるベイズスパース学習とその応用
- Authors: Yating Wang, Wei Deng, Lin Guang
- Abstract要約: 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
- 参考スコア（独自算出の注目度）: 5.660384137948734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a Bayesian type sparse deep learning algorithm. The
algorithm utilizes a set of spike-and-slab priors for the parameters in the
deep neural network. The hierarchical Bayesian mixture will be trained using an
adaptive empirical method. That is, one will alternatively sample from the
posterior using preconditioned stochastic gradient Langevin Dynamics (PSGLD),
and optimize the latent variables via stochastic approximation. The sparsity of
the network is achieved while optimizing the hyperparameters with adaptive
searching and penalizing. A popular SG-MCMC approach is Stochastic gradient
Langevin dynamics (SGLD). However, considering the complex geometry in the
model parameter space in non-convex learning, updating parameters using a
universal step size in each component as in SGLD may cause slow mixing. To
address this issue, we apply a computationally manageable preconditioner in the
updating rule, which provides a step-size parameter to adapt to local geometric
properties. Moreover, by smoothly optimizing the hyperparameter in the
preconditioning matrix, our proposed algorithm ensures a decreasing bias, which
is introduced by ignoring the correction term in preconditioned SGLD. According
to the existing theoretical framework, we show that the proposed algorithm can
asymptotically converge to the correct distribution with a controllable bias
under mild conditions. Numerical tests are performed on both synthetic
regression problems and learning the solutions of elliptic PDE, which
demonstrate the accuracy and efficiency of present work.
- Abstract（参考訳）: 本研究では,ベイズ型スパース深層学習アルゴリズムを提案する。
このアルゴリズムは、ディープニューラルネットワークのパラメータに対するスパイクとスラブの先行値のセットを利用する。
階層的ベイズ混合は適応的な経験的手法を用いて訓練される。
すなわち、事前条件付き確率勾配ランゲヴィンダイナミクス(PSGLD)を用いて後方からサンプルを採取し、確率近似を用いて潜伏変数を最適化する。
適応探索とペナライゼーションでハイパーパラメータを最適化し,ネットワークの幅を最適化する。
一般的なSG-MCMCアプローチはSGLD(Stochastic gradient Langevin dynamics)である。
しかし、非凸学習におけるモデルパラメータ空間の複雑な幾何学を考えると、SGLDのように各コンポーネントの普遍的なステップサイズを用いてパラメータを更新することは、遅い混合を引き起こす可能性がある。
この問題に対処するために,更新ルールに計算管理可能なプリコンディショナーを適用し,局所幾何学的性質に適応するためのステップサイズパラメータを提供する。
さらに,プレコンディショニング行列のハイパーパラメータをスムーズに最適化することにより,プリコンディショニングされたSGLDの補正項を無視することで,バイアスを減少させるアルゴリズムを提案する。
既存の理論的枠組みにより,提案アルゴリズムは温和な条件下で制御可能なバイアスで漸近的に正しい分布に収束できることを示す。
合成回帰問題と楕円型pdeの解法の両方について数値実験を行い,本研究の正確性と効率を示す。
関連論文リスト
- A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。
本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。
その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
論文 参考訳（メタデータ） (2024-11-09T20:39:10Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - PROMISE: Preconditioned Stochastic Optimization Methods by Incorporating Scalable Curvature Estimates [17.777466668123886]
PROMISE ($textbfPr$econditioned $textbfO$ptimization $textbfM$ethods by $textbfI$ncorporating $textbfS$calable Curvature $textbfE$stimates)はスケッチベースの事前条件勾配アルゴリズムである。
PROMISEには、SVRG、SAGA、およびKatyushaのプレコンディション版が含まれている。
論文 参考訳（メタデータ） (2023-09-05T07:49:10Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。
有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。
このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文 参考訳（メタデータ） (2021-02-19T01:17:15Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z) - Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts [8.36840154574354]
そこで我々は, ドリフト関数を偏り, サドル点からの脱出を促進させ, バイアスを過去のサンプルの勾配に応じて適応的に調整する, 適応的勾配勾配連鎖モンテカルロ(SGMCMC)アルゴリズムを提案する。
本稿では,提案アルゴリズムが既存のSGMCMCアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-09-20T22:03:39Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。