Fugu-MT 論文翻訳(概要): Sample Average Approximation for Black-Box VI

論文の概要: Sample Average Approximation for Black-Box VI

arxiv url: http://arxiv.org/abs/2304.06803v2
Date: Wed, 17 May 2023 14:24:50 GMT
ステータス: 処理完了
システム内更新日: 2023-05-18 19:39:11.549776
Title: Sample Average Approximation for Black-Box VI
Title（参考訳）: ブラックボックスVIのサンプル平均近似
Authors: Javier Burroni, Justin Domke, Daniel Sheldon
Abstract要約: 勾配上昇の困難を回避できる新しいブラックボックスVIを提案する。我々はそれらを決定論的に変換することで最適化問題の解を近似する。実験の結果,本手法はVI問題を単純化し,既存手法よりも高速な性能を実現することがわかった。
参考スコア（独自算出の注目度）: 31.664188645648156
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a novel approach for black-box VI that bypasses the difficulties of stochastic gradient ascent, including the task of selecting step-sizes. Our approach involves using a sequence of sample average approximation (SAA) problems. SAA approximates the solution of stochastic optimization problems by transforming them into deterministic ones. We use quasi-Newton methods and line search to solve each deterministic optimization problem and present a heuristic policy to automate hyperparameter selection. Our experiments show that our method simplifies the VI problem and achieves faster performance than existing methods.
Abstract（参考訳）: ステップサイズを選択するタスクを含む,確率勾配上昇の困難を回避したブラックボックスVIに対する新しいアプローチを提案する。提案手法では,サンプル平均近似 (saa) 問題の列を用いる。 SAAはそれらを決定論的に変換することで確率最適化問題の解を近似する。準ニュートン法と線探索を用いて各決定論的最適化問題を解き,超パラメータ選択を自動化するヒューリスティックポリシーを提案する。実験の結果,本手法はVI問題を単純化し,既存手法よりも高速な性能を実現することがわかった。

関連論文リスト

Towards Convexity in Anomaly Detection: A New Formulation of SSLM with Unique Optimal Solutions [12.250410918282615]
Support Vector Description (SVDD) Small and Large Sphere SVM (MvMs) として広く使われている手法における未解決問題従来の非アプローチでは不可能であることを示す新しいSSLMを導入する。
論文参考訳（メタデータ） (2024-10-31T09:42:39Z)
Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-10-08T23:39:38Z)
Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文参考訳（メタデータ） (2022-01-28T05:53:28Z)
Parallel Surrogate-assisted Optimization Using Mesh Adaptive Direct Search [0.0]
本稿では,メッシュ適応直接探索(MADS)アルゴリズムの探索段階における代理モデルと並列計算を利用する手法を提案する。我々は、利用可能なCPUリソースに対して、修正MADSアルゴリズムの性能を評価するために数値実験を行う。
論文参考訳（メタデータ） (2021-07-26T18:28:56Z)
Variational Nonlinear System Identification [0.8793721044482611]
本稿では,非線形状態空間モデルに対するパラメータ推定について検討する。我々は,最大確率推定に深いつながりを持つ原理的手法である変分推論(vi)アプローチを採用する。このviアプローチは最終的に、決定論的で扱いやすく、標準最適化ツールを使って解決できる最適化問題の解としてモデルの推定を提供する。
論文参考訳（メタデータ） (2020-12-08T05:43:50Z)
Simple and optimal methods for stochastic variational inequalities, I: operator extrapolation [9.359939442911127]
まず,決定論的変分不等式(VI)問題を解決するための演算子外挿法を提案する。次に、演算子外挿法(SOE)を導入し、その最適収束挙動を異なる不等式 VI 問題を解くために確立する。
論文参考訳（メタデータ） (2020-11-05T17:20:19Z)
Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
複数の異なる損失を最小化しなければならない最適化問題を考える。提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
論文参考訳（メタデータ） (2020-07-14T09:50:33Z)
Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文参考訳（メタデータ） (2020-07-07T21:26:35Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal Black Box Constraint Satisfaction [69.94831587339539]
本稿では,マスク付き自己回帰ニューラルネットワークを用いて解空間上の均一分布をモデル化するクロスエントロピー法(CEM)を提案する。我々のアルゴリズムは複雑な解空間を表現でき、様々な異なる解領域を追跡できる。
論文参考訳（メタデータ） (2020-02-17T20:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。