論文の概要: Isotropic SGD: a Practical Approach to Bayesian Posterior Sampling

• arxiv url: http://arxiv.org/abs/2006.05087v1
• Date: Tue, 9 Jun 2020 07:31:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:42:20.857793
• Title: Isotropic SGD: a Practical Approach to Bayesian Posterior Sampling
• Title（参考訳）: 等方性SGD : ベイジアン後方サンプリングの実践的アプローチ
• Authors: Giulio Franzese, Rosa Candela, Dimitrios Milios, Maurizio Filippone, Pietro Michiardi
• Abstract要約: この研究は、マルコフ連鎖モンテカルロ(SGMCMC)アルゴリズムの振舞いにおける勾配(SG)ノイズの役割の理解を深めるための統一的な数学的枠組みを定義する。 我々の定式化は, 定型学習率を用いてSG雑音を等方性にする, 後方サンプリングのための新しい実用的な手法の設計を解き放つ。 我々の提案は、sgmcmcの最先端技術と競合するが、より実用的である。
• 参考スコア（独自算出の注目度）: 18.64160180251004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we define a unified mathematical framework to deepen our understanding of the role of stochastic gradient (SG) noise on the behavior of Markov chain Monte Carlo sampling (SGMCMC) algorithms. Our formulation unlocks the design of a novel, practical approach to posterior sampling, which makes the SG noise isotropic using a fixed learning rate that we determine analytically, and that requires weaker assumptions than existing algorithms. In contrast, the common traits of existing \sgmcmc algorithms is to approximate the isotropy condition either by drowning the gradients in additive noise (annealing the learning rate) or by making restrictive assumptions on the \sg noise covariance and the geometry of the loss landscape. Extensive experimental validations indicate that our proposal is competitive with the state-of-the-art on \sgmcmc, while being much more practical to use.
• Abstract（参考訳）: 本研究では,マルコフ連鎖モンテカルロサンプリング(sgmcmc)アルゴリズムの挙動に対する確率的勾配(sg)ノイズの役割の理解を深めるために,統一的な数学的枠組みを定義する。 我々の定式化は、解析的に決定される定型学習率を用いてSGノイズを等方的にし、既存のアルゴリズムよりも弱い仮定を必要とする、新しい、実用的な後方サンプリング手法の設計を解き放つ。 対照的に、既存の \sgmcmc アルゴリズムの共通特性は、付加雑音(学習率の低下)の勾配を減衰させるか、または \sg ノイズの共分散と損失景観の幾何学に制限的な仮定をすることで、等方性条件を近似することである。 広範な実験的検証は,提案手法がより実用的でありながら,sgmcmcの最先端技術と競合することを示している。

関連論文リスト

• Robust Approximate Sampling via Stochastic Gradient Barker Dynamics [0.0]
  本稿では,Langevin に基づくサンプリングアルゴリズムの頑健な代替である Barker gradient dynamics (SGBD) アルゴリズムを勾配フレームワークに導入する。 本稿では,バーカー遷移機構に対する勾配の影響を特徴付けるとともに,勾配雑音による誤差を除去するバイアス補正版を開発する。
  論文  参考訳（メタデータ） (2024-05-14T23:47:02Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• Conjugate Gradient Adaptive Learning with Tukey's Biweight M-Estimate [35.60818658948953]
  TbMCG (Biweight M-estimate CG) と呼ばれる新しい M-estimate conjugate gradient (CG) アルゴリズムを提案する。 特に、TbMCGアルゴリズムは計算複雑性を小さく保ちながら、より高速な収束を実現することができる。 シミュレーションの結果,システム識別およびアクティブノイズ制御のための提案したTbMCGアルゴリズムの優れた性能が確認された。
  論文  参考訳（メタデータ） (2022-03-19T01:02:43Z)
• Study of Proximal Normalized Subband Adaptive Algorithm for Acoustic Echo Cancellation [23.889870461547105]
  スパースシナリオに適した正規化サブバンド適応フィルタを提案する。 提案アルゴリズムは, 近位前方分割法とソフトスレッショルド法に基づいて導出する。 シミュレーションによって支援されるアルゴリズムの平均および平均2乗挙動を解析する。
  論文  参考訳（メタデータ） (2021-08-14T22:20:09Z)
• SNIPS: Solving Noisy Inverse Problems Stochastically [25.567566997688044]
  本稿では,線形逆問題の後部分布からサンプルを抽出するSNIPSアルゴリズムを提案する。 我々の解はランゲヴィン力学とニュートン法からのアイデアを取り入れ、事前訓練された最小二乗誤差(MMSE)を利用する。 得られたサンプルは、与えられた測定値と鋭く、詳細で一致しており、それらの多様性は、解決される逆問題に固有の不確実性を明らかにする。
  論文  参考訳（メタデータ） (2021-05-31T13:33:21Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Asymptotic study of stochastic adaptive algorithm in non-convex landscape [2.1320960069210484]
  本稿では、最適化や機械学習に広く用いられる適応アルゴリズムの仮定特性について検討する。 このうちAdagradとRmspropは、ブラックボックスのディープラーニングアルゴリズムの大部分に関与している。
  論文  参考訳（メタデータ） (2020-12-10T12:54:45Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Active Model Estimation in Markov Decision Processes [108.46146218973189]
  マルコフ決定過程(MDP)をモデル化した環境の正確なモデル学習のための効率的な探索の課題について検討する。 マルコフに基づくアルゴリズムは,本アルゴリズムと極大エントロピーアルゴリズムの両方を小サンプル方式で上回っていることを示す。
  論文  参考訳（メタデータ） (2020-03-06T16:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。