論文の概要: Interacting Contour Stochastic Gradient Langevin Dynamics
- arxiv url: http://arxiv.org/abs/2202.09867v1
- Date: Sun, 20 Feb 2022 17:23:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-22 19:03:31.811782
- Title: Interacting Contour Stochastic Gradient Langevin Dynamics
- Title(参考訳): 相互作用する輪郭確率勾配ランゲヴィンダイナミクス
- Authors: Wei Deng, Siqi Liang, Botao Hao, Guang Lin, Faming Liang
- Abstract要約: そこで本研究では,効率的な相互作用を持つ対話型輪郭勾配ランゲヴィンダイナミックス (ICSGLD) サンプリング器を提案する。
ICSGLDは,等価な計算予算を持つ単一チェーンCSGLDよりも理論的に効率的であることを示す。
また,ビッグデータにおける自己適応パラメータの推定を容易にする新しいランダムフィールド関数を提案する。
- 参考スコア(独自算出の注目度): 22.131194626068027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an interacting contour stochastic gradient Langevin dynamics
(ICSGLD) sampler, an embarrassingly parallel multiple-chain contour stochastic
gradient Langevin dynamics (CSGLD) sampler with efficient interactions. We show
that ICSGLD can be theoretically more efficient than a single-chain CSGLD with
an equivalent computational budget. We also present a novel random-field
function, which facilitates the estimation of self-adapting parameters in big
data and obtains free mode explorations. Empirically, we compare the proposed
algorithm with popular benchmark methods for posterior sampling. The numerical
results show a great potential of ICSGLD for large-scale uncertainty estimation
tasks.
- Abstract(参考訳): そこで本研究では, 対話型連続確率勾配Langevin Dynamics (ICSGLD) と, 効率よく対話できるマルチチェーンマルチチェーン勾配Langevin Dynamics (CSGLD) を提案する。
ICSGLDは,等価な計算予算を持つ単一チェーンCSGLDよりも理論的に効率的であることを示す。
また,ビッグデータにおける自己適応パラメータの推定を容易にし,自由モード探索を行う新しいランダムフィールド関数を提案する。
実験により,提案アルゴリズムを後方サンプリングのための一般的なベンチマーク手法と比較した。
数値計算の結果,ICSGLDの大規模不確実性推定における大きな可能性を示した。
関連論文リスト
- Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Finite-Sample Bounds for Adaptive Inverse Reinforcement Learning using
Passive Langevin Dynamics [15.878313629774269]
本稿では、適応逆強化学習(IRL)を実現するために設計された受動勾配ランゲヴィンダイナミクス(PSGLD)アルゴリズムの有限サンプル解析を提供する。
我々はPSGLDアルゴリズムによって生成された推定値とコスト関数との間の2-ワッサーシュタイン距離の有限サンプル境界を求める。
この研究は、受動的適応勾配アルゴリズムの分析をランゲヴィン力学の有限サンプル状態に拡張する。
論文 参考訳(メタデータ) (2023-04-18T16:39:51Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳(メタデータ) (2023-03-01T10:38:10Z) - Learning from time-dependent streaming data with online stochastic
algorithms [7.283533791778357]
本稿では,時間依存的,偏りのある推定値を用いたストリーミング環境での最適化について述べる。
グラディエントDescent(SGD)、ミニバッチSGD、時間変化のミニバッチSGD、およびPolyak-Ruppert平均値など、いくつかの一階法を解析する。
論文 参考訳(メタデータ) (2022-05-25T07:53:51Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Differential Privacy Guarantees for Stochastic Gradient Langevin
Dynamics [2.9477900773805032]
定常的なステップサイズで、スムーズかつ強凸な目標に対して、プライバシー損失は指数関数的に速く収束することを示す。
本稿では,従来のDP-SGDライブラリと比較して,本手法の実用性を示す実装を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:21:31Z) - A Contour Stochastic Gradient Langevin Dynamics Algorithm for
Simulations of Multi-modal Distributions [17.14287157979558]
ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。
提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
論文 参考訳(メタデータ) (2020-10-19T19:20:47Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin
Dynamics [27.097121544378528]
グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。
NSGLDは非可逆拡散の離散化に基づいている。
論文 参考訳(メタデータ) (2020-04-06T17:11:03Z) - Learning to Optimize Non-Rigid Tracking [54.94145312763044]
我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。
まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。
次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
論文 参考訳(メタデータ) (2020-03-27T04:40:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。