論文の概要: A Global Stochastic Optimization Particle Filter Algorithm
- arxiv url: http://arxiv.org/abs/2007.04803v9
- Date: Wed, 6 Jul 2022 06:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 05:20:21.301574
- Title: A Global Stochastic Optimization Particle Filter Algorithm
- Title（参考訳）: 大域的確率的最適化粒子フィルタアルゴリズム
- Authors: Mathieu Gerber and Randal Douc
- Abstract要約: 目的関数がマルチモーダルである場合に,期待されるログ類似度に対する新しいアルゴリズムを提案する。
高い確率で、G-PFSOは目的関数の発見に成功し、最適な速度でその大域最大化器に収束する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new online algorithm for expected log-likelihood maximization
in situations where the objective function is multi-modal and/or has saddle
points, that we term G-PFSO. The key element underpinning G-PFSO is a
probability distribution which (a) is shown to concentrate on the target
parameter value as the sample size increases and (b) can be efficiently
estimated by means of a standard particle filter algorithm. This distribution
depends on a learning rate, where the faster the learning rate the quicker it
concentrates on the desired element of the search space, but the less likely
G-PFSO is to escape from a local optimum of the objective function. In order to
achieve a fast convergence rate with a slow learning rate, G-PFSO exploits the
acceleration property of averaging, well-known in the stochastic gradient
literature. Considering several challenging estimation problems, the numerical
experiments show that, with high probability, G-PFSO successfully finds the
highest mode of the objective function and converges to its global maximizer at
the optimal rate. While the focus of this work is expected log-likelihood
maximization, the proposed methodology and its theory apply more generally for
optimizing a function defined through an expectation.
- Abstract（参考訳）: 目的関数がマルチモーダルあるいはサドル点を持つ状況において、G-PFSO(G-PFSO)と呼ぶ新しいオンラインアルゴリズムを導入する。
G-PFSOを支える鍵要素は確率分布である
(a) サンプルサイズが大きくなるにつれて対象パラメータ値に集中することが示される。
b) を標準粒子フィルタアルゴリズムを用いて効率的に推定することができる。
この分布は学習速度に依存するが、学習速度が速いほど検索空間の所望の要素に集中するが、G-PFSOは目的関数の局所的な最適化から逃れる可能性が低い。
学習速度が遅い高速収束率を達成するために、G-PFSOは確率勾配の文献でよく知られる平均化の加速度特性を利用する。
いくつかの挑戦的な推定問題を考えると、G-PFSOは高い確率で目的関数の最高モードを見つけ、最適速度でその大域的最大値に収束することを示した。
この研究の焦点は対数的な最大化であるが、提案手法とその理論は期待によって定義される関数を最適化するためにより一般的に適用される。
関連論文リスト
- Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Deterministic Langevin Unconstrained Optimization with Normalizing Flows [3.988614978933934]
我々は,Fokker-Planck方程式とLangevin方程式にインスパイアされたブラックボックス関数に対するグローバルで自由な代理最適化戦略を導入する。
本研究は,標準合成試験関数の最適目的に向けての競争力の向上を実証する。
論文 参考訳（メタデータ） (2023-10-01T17:46:20Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Relaxed Gaussian process interpolation: a goal-oriented approach to
Bayesian optimization [0.0]
本研究では,ガウス過程(GP)モデリングの文脈で予測分布を求める新しい手法を提案する。
緩和ガウス過程(reGP)と呼ばれる手法は、興味の範囲でより良い予測分布を提供する。
これはゴール指向の方法と見なすことができ、ベイズ最適化において特に興味深いものとなる。
論文 参考訳（メタデータ） (2022-06-07T06:26:46Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Directed particle swarm optimization with Gaussian-process-based
function forecasting [15.733136147164032]
パーティクルスワム最適化 (PSO) は、探索空間を囲む一組の候補解を、ランダム化されたステップ長を持つ最もよく知られたグローバルおよびローカルな解へ移動させる反復探索法である。
本アルゴリズムは探索的・搾取的行動に対して望ましい特性が得られることを示す。
論文 参考訳（メタデータ） (2021-02-08T13:02:57Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Convergence Analysis of Homotopy-SGD for non-convex optimization [43.71213126039448]
ホモトピー法とSGDを組み合わせた一階述語アルゴリズム、Gradienty-Stoch Descent (H-SGD)を提案する。
いくつかの仮定の下で、提案した問題の理論的解析を行う。
実験の結果,H-SGDはSGDより優れていた。
論文 参考訳（メタデータ） (2020-11-20T09:50:40Z) - An adaptive stochastic gradient-free approach for high-dimensional
blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。
本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文 参考訳（メタデータ） (2020-06-18T22:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。