論文の概要: Consensus-Based Optimization on Hypersurfaces: Well-Posedness and
Mean-Field Limit
- arxiv url: http://arxiv.org/abs/2001.11994v4
- Date: Mon, 7 Dec 2020 19:37:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 07:10:35.975813
- Title: Consensus-Based Optimization on Hypersurfaces: Well-Posedness and
Mean-Field Limit
- Title（参考訳）: 超表面上の合意に基づく最適化--有効性と平均場限界
- Authors: Massimo Fornasier, Hui Huang, Lorenzo Pareschi, Philippe S\"unnen
- Abstract要約: コンパクト超曲面上の非場関数の大域的最適化のための新しい微分モデルを提案する。
特に、合意に達したらすぐに、合意は消える。
- 参考スコア（独自算出の注目度）: 7.998311072988401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new stochastic differential model for global optimization of
nonconvex functions on compact hypersurfaces. The model is inspired by the
stochastic Kuramoto-Vicsek system and belongs to the class of Consensus-Based
Optimization methods. In fact, particles move on the hypersurface driven by a
drift towards an instantaneous consensus point, computed as a convex
combination of the particle locations weighted by the cost function according
to Laplace's principle. The consensus point represents an approximation to a
global minimizer. The dynamics is further perturbed by a random vector field to
favor exploration, whose variance is a function of the distance of the
particles to the consensus point. In particular, as soon as the consensus is
reached, then the stochastic component vanishes. In this paper, we study the
well-posedness of the model and we derive rigorously its mean-field
approximation for large particle limit.
- Abstract（参考訳）: コンパクト超曲面上の非凸関数の大域的最適化のための新しい確率微分モデルを提案する。
このモデルは確率的クラモト・ヴィエクシステムにインスパイアされ、コンセンサスに基づく最適化手法のクラスに属する。
実際、粒子はドリフトによって駆動される超表面上を移動し、ラプラスの原理に従ってコスト関数によって重み付けられた粒子位置の凸結合として計算される。
コンセンサスポイントは、大域最小化器への近似を表す。
力学はさらにランダムなベクトル場によって摂動され、その分散は粒子から収束点までの距離の関数である探索を好む。
特に、合意に達するとすぐに確率成分は消滅する。
本稿では,モデルの有効性について検討し,大粒子限界に対する平均場近似を厳密に導出する。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - A deep implicit-explicit minimizing movement method for option pricing
in jump-diffusion models [0.0]
我々は、ジャンプ拡散力学に従う資産に書かれた欧州のバスケットオプションの価格設定のための新しいディープラーニングアプローチを開発する。
オプション価格問題は部分積分微分方程式として定式化され、これは新しい暗黙的な最小化運動タイムステッピング手法によって近似される。
論文 参考訳（メタデータ） (2024-01-12T18:21:01Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood
Estimation [2.53740603524637]
我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。
特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。
特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。
時間的に一様で、粒子の数で増加しない方法で。
論文 参考訳（メタデータ） (2023-03-23T16:50:08Z) - Efficient displacement convex optimization with particle gradient
descent [57.88860627977882]
粒子勾配降下は確率測度の関数の最適化に広く用いられている。
本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
論文 参考訳（メタデータ） (2023-02-09T16:35:59Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-10-24T16:54:18Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - From particle swarm optimization to consensus based optimization:
stochastic modeling and mean-field limit [0.0]
グローバル最適化問題を解決するためのPSOプロセスの微分方程式に基づく連続的な記述を検討する。
我々は、Vlasov-Fokker-Planck型方程式に基づく対応する平均場近似を大粒子制限で導出する。
我々は,最近導入されたコンセンサスに基づく最適化手法との相関関係を明らかにする,関連するマクロ流体力学方程式を計算した。
論文 参考訳（メタデータ） (2020-12-10T11:58:19Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z) - Consensus-Based Optimization on the Sphere: Convergence to Global
Minimizers and Machine Learning [7.998311072988401]
球面上の非函数の大域的最適化のための新しい倉本ビエク型モデルの実装について検討する。
本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
論文 参考訳（メタデータ） (2020-01-31T18:23:26Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。