論文の概要: Consensus-Based Optimization on the Sphere: Convergence to Global
Minimizers and Machine Learning
- arxiv url: http://arxiv.org/abs/2001.11988v5
- Date: Wed, 28 Jul 2021 09:03:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 06:32:06.342320
- Title: Consensus-Based Optimization on the Sphere: Convergence to Global
Minimizers and Machine Learning
- Title（参考訳）: 球面の合意に基づく最適化:世界最小化と機械学習への収束
- Authors: Massimo Fornasier, Hui Huang, Lorenzo Pareschi, Philippe S\"unnen
- Abstract要約: 球面上の非函数の大域的最適化のための新しい倉本ビエク型モデルの実装について検討する。
本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
- 参考スコア（独自算出の注目度）: 7.998311072988401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the implementation of a new stochastic Kuramoto-Vicsek-type
model for global optimization of nonconvex functions on the sphere. This model
belongs to the class of Consensus-Based Optimization. In fact, particles move
on the sphere driven by a drift towards an instantaneous consensus point, which
is computed as a convex combination of particle locations, weighted by the cost
function according to Laplace's principle, and it represents an approximation
to a global minimizer. The dynamics is further perturbed by a random vector
field to favor exploration, whose variance is a function of the distance of the
particles to the consensus point. In particular, as soon as the consensus is
reached the stochastic component vanishes. The main results of this paper are
about the proof of convergence of the numerical scheme to global minimizers
provided conditions of well-preparation of the initial datum. The proof
combines previous results of mean-field limit with a novel asymptotic analysis,
and classical convergence results of numerical methods for SDE. We present
several numerical experiments, which show that the algorithm proposed in the
present paper scales well with the dimension and is extremely versatile. To
quantify the performances of the new approach, we show that the algorithm is
able to perform essentially as good as ad hoc state of the art methods in
challenging problems in signal processing and machine learning, namely the
phase retrieval problem and the robust subspace detection.
- Abstract（参考訳）: 球面上の非凸関数の大域的最適化のための確率的倉本ビエク型モデルの実装について検討する。
このモデルは、Consensus-Based Optimizationのクラスに属する。
実際、粒子はラプラスの原理に従ってコスト関数によって重みづけられた素粒子の位置の凸結合として計算される瞬時コンセンサス点に向かってドリフトによって駆動される球面上を移動し、大域的最小化器への近似を表す。
力学はさらにランダムなベクトル場によって摂動され、その分散は粒子から収束点までの距離の関数である探索を好む。
特に、合意に達するとすぐに確率成分は消滅する。
本研究の主な成果は,初期ダタムの適正な調整条件を満たす大域最小化器への数値スキームの収束の証明である。
この証明は、平均場限界の以前の結果と、新しい漸近解析と、SDEの数値手法の古典的な収束結果を組み合わせたものである。
本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
新たな手法の性能を定量化するために,信号処理や機械学習における問題,すなわち位相検索問題とロバスト部分空間検出において,アルゴリズムが本質的には,アートメソッドのアドホック状態と同等の性能を発揮することを示す。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T18:54:54Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-10-24T16:54:18Z) - Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。
後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
論文 参考訳（メタデータ） (2022-09-29T22:10:42Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳（メタデータ） (2020-10-31T21:35:42Z) - A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained
Optimization [25.73397307080647]
本稿では,汎用凸あるいは非汎用機械目標の新しいモデルを提案する。
本稿では,各サブプロブレムの点レベルを徐々に緩和した制約を解くアルゴリズムを提案する。
我々は,新しい数値スケール問題の有効性を実証する。
論文 参考訳（メタデータ） (2020-10-23T05:24:05Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z) - Consensus-Based Optimization on Hypersurfaces: Well-Posedness and
Mean-Field Limit [7.998311072988401]
コンパクト超曲面上の非場関数の大域的最適化のための新しい微分モデルを提案する。
特に、合意に達したらすぐに、合意は消える。
論文 参考訳（メタデータ） (2020-01-31T18:33:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。