論文の概要: Mean Field Optimization Problem Regularized by Fisher Information
- arxiv url: http://arxiv.org/abs/2302.05938v2
- Date: Sat, 22 Jul 2023 10:19:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 00:02:21.003645
- Title: Mean Field Optimization Problem Regularized by Fisher Information
- Title（参考訳）: フィッシャー情報による平均場最適化問題
- Authors: Julien Claisse, Giovanni Conforti, Zhenjie Ren, Songbo Wang
- Abstract要約: 平均場シュロディンガー力学の限界分布は正規化最適化問題の一意の最小化に向けて急速に収束することを示す。
注目すべきことに、平均場のシュロディンガー力学は相対エントロピーに関して確率測度空間上の勾配流であることが証明される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently there is a rising interest in the research of mean field
optimization, in particular because of its role in analyzing the training of
neural networks. In this paper by adding the Fisher Information as the
regularizer, we relate the regularized mean field optimization problem to a
so-called mean field Schrodinger dynamics. We develop an energy-dissipation
method to show that the marginal distributions of the mean field Schrodinger
dynamics converge exponentially quickly towards the unique minimizer of the
regularized optimization problem. Remarkably, the mean field Schrodinger
dynamics is proved to be a gradient flow on the probability measure space with
respect to the relative entropy. Finally we propose a Monte Carlo method to
sample the marginal distributions of the mean field Schrodinger dynamics.
- Abstract（参考訳）: 近年、平均場最適化の研究への関心が高まっており、特にニューラルネットワークのトレーニングの分析にその役割があるためである。
本稿では,フィッシャー情報を正規化子として加えることにより,正規化平均場最適化問題を,いわゆる平均場シュロディンガーダイナミクスに関連付ける。
我々は, 平均場シュロディンガーダイナミクスの限界分布が, 正規化最適化問題の極小化に向けて指数関数的に収束することを示すエネルギー散逸法を開発した。
注目すべきことに、平均場のシュロディンガー力学は相対エントロピーに関して確率測度空間上の勾配流であることが証明される。
最後に,平均場シュロディンガーダイナミクスの限界分布をサンプリングするモンテカルロ法を提案する。
関連論文リスト
- Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - Monte Carlo generation of localised particle trajectories [0.0]
我々は,局所的な相互作用のサンプリングを改善するために,ファインマン経路積分のモンテカルロシミュレーションの修正を導入する。
新しいアルゴリズムは、相互作用領域に集中するように設計された単純な背景電位の軌跡を生成する。
これはシステムの統計的サンプリングを改善し、ブラウン運動に固有の空間拡散に起因する長年の「アンダーサンプリング問題」を克服する。
論文 参考訳（メタデータ） (2023-04-20T17:50:30Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-10-24T16:54:18Z) - Trajectory Inference via Mean-field Langevin in Path Space [0.17205106391379024]
軌道推論は、時間的限界のスナップショットから集団のダイナミクスを回復することを目的としている。
経路空間におけるウィナー測度に対するミンエントロピー推定器は、Lavenantらによって導入された。
論文 参考訳（メタデータ） (2022-05-14T23:13:00Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - From particle swarm optimization to consensus based optimization:
stochastic modeling and mean-field limit [0.0]
グローバル最適化問題を解決するためのPSOプロセスの微分方程式に基づく連続的な記述を検討する。
我々は、Vlasov-Fokker-Planck型方程式に基づく対応する平均場近似を大粒子制限で導出する。
我々は,最近導入されたコンセンサスに基づく最適化手法との相関関係を明らかにする,関連するマクロ流体力学方程式を計算した。
論文 参考訳（メタデータ） (2020-12-10T11:58:19Z) - A Mean-Field Theory for Learning the Sch\"{o}nberg Measure of Radial
Basis Functions [13.503048325896174]
トレーニングサンプルから放射基底関数のシュンベルク積分表現の分布を学習する。
スケーリング限界において、ランゲヴィン粒子の経験的測度が、反射的イオ拡散ドリフト過程の法則に収束することを証明する。
論文 参考訳（メタデータ） (2020-06-23T21:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。