論文の概要: Ensemble-based gradient inference for particle methods in optimization
and sampling
- arxiv url: http://arxiv.org/abs/2209.15420v1
- Date: Fri, 23 Sep 2022 09:21:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 17:21:00.172789
- Title: Ensemble-based gradient inference for particle methods in optimization
and sampling
- Title（参考訳）: 最適化とサンプリングにおける粒子法のエンサンブルに基づく勾配推定
- Authors: Claudia Schillings and Claudia Totzeck and Philipp Wacker
- Abstract要約: 本稿では,関数評価とベイズ推定に基づく高次微分情報抽出手法を提案する。
我々は,この情報を用いて,アンサンブルに基づく数値法の改良を行い,最適化とサンプリングを行うことを提案する。
- 参考スコア（独自算出の注目度）: 2.9005223064604078
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We propose an approach based on function evaluations and Bayesian inference
to extract higher-order differential information of objective functions {from a
given ensemble of particles}. Pointwise evaluation $\{V(x^i)\}_i$ of some
potential $V$ in an ensemble $\{x^i\}_i$ contains implicit information about
first or higher order derivatives, which can be made explicit with little
computational effort (ensemble-based gradient inference -- EGI). We suggest to
use this information for the improvement of established ensemble-based
numerical methods for optimization and sampling such as Consensus-based
optimization and Langevin-based samplers. Numerical studies indicate that the
augmented algorithms are often superior to their gradient-free variants, in
particular the augmented methods help the ensembles to escape their initial
domain, to explore multimodal, non-Gaussian settings and to speed up the
collapse at the end of optimization dynamics.}
The code for the numerical examples in this manuscript can be found in the
paper's Github repository
(https://github.com/MercuryBench/ensemble-based-gradient.git).
- Abstract（参考訳）: 本稿では,関数評価とベイズ推定に基づいて,対象関数の高次微分情報を粒子の所定のアンサンブルから抽出する手法を提案する。
ポイントワイズ評価 $\{V(x^i)\}_i$ アンサンブル $\{x^i\}_i$ においてあるポテンシャル $V$ は 1 以上の階微分に関する暗黙的な情報を含み、ほとんど計算の労力で明示することができる(アンサンブルベースの勾配推論 -- EGI)。
この情報を用いて,コンセンサスに基づく最適化やランジュバンに基づくサンプリングなどの最適化とサンプリングのための確立されたアンサンブルに基づく数値手法の改善を提案する。
数値的研究によれば、拡張アルゴリズムは勾配のない変種よりも優れていることがしばしば示されており、特に拡張手法はアンサンブルが初期領域から逃れ、マルチモーダルで非ガウシアンセッティングを探索し、最適化ダイナミクスの終わりに崩壊を早めるのに役立つ。
この原稿の数値例のコードは、論文のGithubリポジトリ(https://github.com/MercuryBench/ensemble-based-gradient.git)にある。
関連論文リスト
- Fully Zeroth-Order Bilevel Programming via Gaussian Smoothing [7.143879014059895]
ビルベル問題の解法としてゼロ階近似アルゴリズムを研究・解析する。
我々の知る限りでは、完全ゼロ階二階最適化アルゴリズムのためにサンプル境界が確立されたのはこれが初めてである。
論文 参考訳（メタデータ） (2024-03-29T21:12:25Z) - Modified Step Size for Enhanced Stochastic Gradient Descent: Convergence
and Experiments [0.0]
本稿では,$frac1sqrtttをベースとした変形ステップサイズを改良することにより,勾配降下法(SGD)アルゴリズムの性能向上に新たなアプローチを提案する。
提案されたステップサイズは対数的なステップ項を統合し、最終イテレーションでより小さな値を選択する。
提案手法の有効性について,FashionMNISTとARARを用いて画像分類タスクの数値実験を行った。
論文 参考訳（メタデータ） (2023-09-03T19:21:59Z) - Practical First-Order Bayesian Optimization Algorithms [0.0]
本稿では,勾配GPからの情報を効率よく活用して,ゼロ勾配の潜在的な問合せ点を同定する,実用的なFOBOアルゴリズムのクラスを提案する。
提案アルゴリズムの性能をいくつかのテスト関数で検証し,提案アルゴリズムが最先端のFOBOアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2023-06-19T10:05:41Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian
Processes [0.0]
空間統計学から一般的なGP近似であるVecchia近似を適用し、スケーラブルな高次元ベイズ最適化を実現する。
我々は、トンプソンサンプリングによる信頼領域ベイズ最適化における歪んだヴェッキアGPの使用に焦点を当てた。
論文 参考訳（メタデータ） (2022-03-02T23:55:14Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳（メタデータ） (2021-05-23T19:21:55Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - A Primer on Zeroth-Order Optimization in Signal Processing and Machine
Learning [95.85269649177336]
ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。
我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
論文 参考訳（メタデータ） (2020-06-11T06:50:35Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。