論文の概要: Sampling from the Mean-Field Stationary Distribution
- arxiv url: http://arxiv.org/abs/2402.07355v3
- Date: Sun, 18 Feb 2024 06:04:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 00:51:50.523736
- Title: Sampling from the Mean-Field Stationary Distribution
- Title(参考訳): 平均場定常分布からのサンプリング
- Authors: Yunbum Kook, Matthew S. Zhang, Sinho Chewi, Murat A. Erdogdu, Mufan
Bill Li
- Abstract要約: 平均場SDEの定常分布からのサンプリングの複雑さについて検討する。
私たちの主な洞察は、この問題の2つの重要な側面を分離することです。
我々のアプローチは概念的にシンプルであり、その柔軟性はアルゴリズムと理論の両方に最先端の技術を取り入れることができる。
- 参考スコア(独自算出の注目度): 22.47952468523332
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the complexity of sampling from the stationary distribution of a
mean-field SDE, or equivalently, the complexity of minimizing a functional over
the space of probability measures which includes an interaction term. Our main
insight is to decouple the two key aspects of this problem: (1) approximation
of the mean-field SDE via a finite-particle system, via uniform-in-time
propagation of chaos, and (2) sampling from the finite-particle stationary
distribution, via standard log-concave samplers. Our approach is conceptually
simpler and its flexibility allows for incorporating the state-of-the-art for
both algorithms and theory. This leads to improved guarantees in numerous
settings, including better guarantees for optimizing certain two-layer neural
networks in the mean-field regime.
- Abstract(参考訳): 本研究では,平均場SDEの定常分布からのサンプリングの複雑さ,あるいは相互作用項を含む確率測度空間上の関数の最小化の複雑さについて検討する。
本研究の主な知見は,(1)有限粒子系による平均場sdeの近似,(2)カオスの均一な時間伝播,(2)標準対数対数解析による有限粒子定常分布からのサンプリング,の2つの重要な側面を分離することである。
我々のアプローチは概念的にシンプルであり、その柔軟性はアルゴリズムと理論の両方に最先端の技術を取り入れることができる。
これにより、平均フィールド状態における特定の2層ニューラルネットワークを最適化する保証の改善など、多数の設定での保証が改善される。
関連論文リスト
- Space-Time Bridge-Diffusion [0.5348370085388683]
実数値分布から独立かつ同一分布(d.d.)の新規な合成サンプルを生成する手法を提案する。
我々の手法の中心は時空間次元にまたがる時空間混合戦略の統合である。
我々は,時空拡散法を数値実験で検証し,より広範な将来の理論と実験の基盤を築き,その方法を完全に認証する。
論文 参考訳(メタデータ) (2024-02-13T23:26:11Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Primal and Dual Analysis of Entropic Fictitious Play for Finite-sum
Problems [42.375903320536715]
エントロピック・フィクション・プレイ(英語: Entropic fictitious Play, EFP)は、測度空間における凸関数とエントロピーの和を最小化するアルゴリズムである。
学習問題が有限サム構造を示すような環境では、EFPの簡潔な原始双対解析を行う。
論文 参考訳(メタデータ) (2023-03-06T08:05:08Z) - PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash
Equilibrium [62.51015395213579]
2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。
提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
論文 参考訳(メタデータ) (2023-03-02T05:08:15Z) - A Dynamical System View of Langevin-Based Non-Convex Sampling [84.61544861851907]
非サンプリングは機械学習における重要な課題であり、ディープラーニングにおける非レート最適化の中心であり、その重要性を近似する。
既存の保証は通常、より望ましい最終段階の反復よりも平均距離のみを保持する。
我々は、理論システムからいくつかのツールを活用することにより、上記の問題を解消する新しいフレームワークを開発する。
論文 参考訳(メタデータ) (2022-10-25T09:43:36Z) - Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。
最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
論文 参考訳(メタデータ) (2022-09-16T22:09:53Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳(メタデータ) (2020-12-04T15:36:29Z) - Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures [31.986482149142503]
我々はこの質問を,強調指標を導入することで,分布視点として捉えた。
一連の非PDカーネルは、特定の有限ボレル測度の線型結合に関連付けられる。
特に、このソリューションは、大規模なサンプルケースで非PDカーネルをスケールするために、実際に計算的に実装可能である。
論文 参考訳(メタデータ) (2020-05-30T12:10:35Z) - Majorization Minimization Methods for Distributed Pose Graph
Optimization with Convergence Guarantees [0.76146285961466]
提案手法は軽度条件下で一階臨界点に収束することが保証されていることを示す。
提案手法は分散PGOの近位演算子に依存するため,収束速度を著しく向上させることができる。
この研究の有効性は、2Dおよび3D SLAMデータセットの応用を通じて検証される。
論文 参考訳(メタデータ) (2020-03-11T15:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。