論文の概要: Sampling from the Mean-Field Stationary Distribution

• arxiv url: http://arxiv.org/abs/2402.07355v4
• Date: Fri, 5 Jul 2024 15:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 23:53:32.939274
• Title: Sampling from the Mean-Field Stationary Distribution
• Title（参考訳）: 平均定常分布からのサンプリング
• Authors: Yunbum Kook, Matthew S. Zhang, Sinho Chewi, Murat A. Erdogdu, Mufan Bill Li,
• Abstract要約: 平均場SDEの定常分布からのサンプリングの複雑さについて検討する。 我々のアプローチは概念的にシンプルであり、その柔軟性はアルゴリズムと理論の両方に最先端の技術を取り入れることができる。 重要な技術的貢献は、平均場ランゲヴィン力学の定常分布に対する新しい均一-$N$log-Sobolev不等式を確立することである。
• 参考スコア（独自算出の注目度）: 20.953170955291522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the complexity of sampling from the stationary distribution of a mean-field SDE, or equivalently, the complexity of minimizing a functional over the space of probability measures which includes an interaction term. Our main insight is to decouple the two key aspects of this problem: (1) approximation of the mean-field SDE via a finite-particle system, via uniform-in-time propagation of chaos, and (2) sampling from the finite-particle stationary distribution, via standard log-concave samplers. Our approach is conceptually simpler and its flexibility allows for incorporating the state-of-the-art for both algorithms and theory. This leads to improved guarantees in numerous settings, including better guarantees for optimizing certain two-layer neural networks in the mean-field regime. A key technical contribution is to establish a new uniform-in-$N$ log-Sobolev inequality for the stationary distribution of the mean-field Langevin dynamics.
• Abstract（参考訳）: 本研究では,平均場SDEの定常分布からのサンプリングの複雑さ,あるいは相互作用項を含む確率測度空間上の関数の最小化の複雑さについて検討する。 本研究の主な知見は,(1)有限粒子系による平均場SDEの近似と,(2)標準対数対数検層による有限粒子定常分布からのサンプリングの2つの重要な側面を分離することである。 我々のアプローチは概念的にシンプルであり、その柔軟性はアルゴリズムと理論の両方に最先端の技術を取り入れることができる。 これにより、平均フィールド状態における特定の2層ニューラルネットワークを最適化する保証の改善など、多数の設定での保証が改善される。 重要な技術的貢献は、平均場ランゲヴィン力学の定常分布に対する新しい均一-$N$log-Sobolev不等式を確立することである。

関連論文リスト

• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling [27.882407333690267]
  本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。 また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
  論文  参考訳（メタデータ） (2024-03-10T11:50:34Z)
• Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate [49.97755400231656]
  我々はDT拡散過程下での分布のかなり大きなクラスに対する収束保証を確立する。 次に、明示的なパラメータ依存を持つ分布の多くの興味深いクラスに結果を専門化します。 そこで本研究では,新しい加速型サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Space-Time Diffusion Bridge [0.4527270266697462]
  実確率分布から独立かつ同一に分布する新しい合成サンプルを生成する方法を提案する。 時空間次元にまたがる時空間混合戦略を用いる。 数値実験による時空拡散法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-02-13T23:26:11Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Primal and Dual Analysis of Entropic Fictitious Play for Finite-sum Problems [42.375903320536715]
  エントロピック・フィクション・プレイ(英語: Entropic fictitious Play, EFP)は、測度空間における凸関数とエントロピーの和を最小化するアルゴリズムである。 学習問題が有限サム構造を示すような環境では、EFPの簡潔な原始双対解析を行う。
  論文  参考訳（メタデータ） (2023-03-06T08:05:08Z)
• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [62.51015395213579]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• GANs as Gradient Flows that Converge [3.8707695363745223]
  分布依存常微分方程式によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示す。 ODEのシミュレーションは、生成ネットワーク(GAN)のトレーニングと等価である。 この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。
  論文  参考訳（メタデータ） (2022-05-05T20:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。