論文の概要: Implicit Diffusion: Efficient Optimization through Stochastic Sampling
- arxiv url: http://arxiv.org/abs/2402.05468v1
- Date: Thu, 8 Feb 2024 08:00:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:07:44.223820
- Title: Implicit Diffusion: Efficient Optimization through Stochastic Sampling
- Title(参考訳): 入射拡散:確率サンプリングによる効率的な最適化
- Authors: Pierre Marion, Anna Korba, Peter Bartlett, Mathieu Blondel, Valentin
De Bortoli, Arnaud Doucet, Felipe Llinares-L\'opez, Courtney Paquette,
Quentin Berthet
- Abstract要約: パラメータ化拡散により暗黙的に定義された分布を最適化するアルゴリズムを提案する。
本稿では,これらのプロセスの1次最適化のための一般的なフレームワークについて紹介する。
本研究では,提案手法の性能に関する理論的保証と,実環境における有効性を示す実験結果を提供する。
- 参考スコア(独自算出の注目度): 46.56122453571896
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present a new algorithm to optimize distributions defined implicitly by
parameterized stochastic diffusions. Doing so allows us to modify the outcome
distribution of sampling processes by optimizing over their parameters. We
introduce a general framework for first-order optimization of these processes,
that performs jointly, in a single loop, optimization and sampling steps. This
approach is inspired by recent advances in bilevel optimization and automatic
implicit differentiation, leveraging the point of view of sampling as
optimization over the space of probability distributions. We provide
theoretical guarantees on the performance of our method, as well as
experimental results demonstrating its effectiveness in real-world settings.
- Abstract(参考訳): パラメータ化確率拡散により暗黙的に定義された分布を最適化するアルゴリズムを提案する。
そのため、サンプリングプロセスの結果の分布をパラメータを最適化することで変更できる。
そこで本研究では, 単一ループ, 最適化, サンプリングステップで協調的に実行する1次最適化のための汎用フレームワークを提案する。
このアプローチは、2レベル最適化と自動暗黙微分の最近の進歩に触発され、サンプリングの視点を確率分布の空間上の最適化として活用する。
本手法の性能を理論的に保証するとともに,実世界での有効性を示す実験結果を提供する。
関連論文リスト
- Stein Boltzmann Sampling: A Variational Approach for Global Optimization [0.0]
我々は,Stein Boltzmann Sampling (SBS) と呼ばれるリプシッツ関数の大域的最適化のための新しいフローベース手法を提案する。
本手法は,最適化対象関数の最小値集合上で一様となるボルツマン分布からサンプリングする。
論文 参考訳(メタデータ) (2024-02-07T09:28:35Z) - Improving sample efficiency of high dimensional Bayesian optimization
with MCMC [7.241485121318798]
本稿ではマルコフ・チェイン・モンテカルロに基づく新しい手法を提案する。
提案アルゴリズムのMetropolis-HastingsとLangevin Dynamicsの両バージョンは、高次元逐次最適化および強化学習ベンチマークにおいて最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2024-01-05T05:56:42Z) - Optimal Budgeted Rejection Sampling for Generative Models [54.050498411883495]
判別器を用いた生成モデルの性能向上のために, 還元サンプリング法が提案されている。
提案手法は,まず,最適に最適である最適予算削減サンプリング方式を提案する。
第2に,モデル全体の性能を高めるために,サンプリング方式をトレーニング手順に組み込んだエンドツーエンド手法を提案する。
論文 参考訳(メタデータ) (2023-11-01T11:52:41Z) - Random Postprocessing for Combinatorial Bayesian Optimization [0.552480439325792]
ベイズ最適化における後処理法の効果を数値的に検討する。
ポストプロセッシング法は,グローバルな最適解を見つけるための逐次ステップの数を著しく削減する。
論文 参考訳(メタデータ) (2023-09-06T08:59:34Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Minibatch and Momentum Model-based Methods for Stochastic Non-smooth
Non-convex Optimization [3.4809730725241597]
モデルベース手法に対する2つの重要な拡張を行う。
まず,各イテレーションのモデル関数を近似するために,サンプルの集合を用いる新しいミニバッチを提案する。
第二に、運動量法の成功により、新しい凸モデルを提案する。
論文 参考訳(メタデータ) (2021-06-06T05:31:57Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳(メタデータ) (2020-09-08T06:54:11Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。
BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
論文 参考訳(メタデータ) (2020-07-02T07:35:49Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。