論文の概要: Stochastic Modified Equations for Continuous Limit of Stochastic ADMM
- arxiv url: http://arxiv.org/abs/2003.03532v1
- Date: Sat, 7 Mar 2020 08:01:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 19:31:30.643321
- Title: Stochastic Modified Equations for Continuous Limit of Stochastic ADMM
- Title（参考訳）: 確率 ADMM の連続極限に対する確率修正方程式
- Authors: Xiang Zhou, Huizhuo Yuan, Chris Junchi Li, Qingyun Sun
- Abstract要約: 我々は、ADMMの異なる変種を統一形式にし、リラクゼーションを伴う標準、線形化、勾配ベースADMMを含み、連続時間モデルアプローチを用いてそれらの力学を研究する。
我々は,ADMMの力学を,弱い近似の意味で小さな雑音パラメータを持つ微分方程式のクラスで近似することを示した。
- 参考スコア（独自算出の注目度）: 13.694172299830315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic version of alternating direction method of multiplier (ADMM) and
its variants (linearized ADMM, gradient-based ADMM) plays a key role for modern
large scale machine learning problems. One example is the regularized empirical
risk minimization problem. In this work, we put different variants of
stochastic ADMM into a unified form, which includes standard, linearized and
gradient-based ADMM with relaxation, and study their dynamics via a
continuous-time model approach. We adapt the mathematical framework of
stochastic modified equation (SME), and show that the dynamics of stochastic
ADMM is approximated by a class of stochastic differential equations with small
noise parameters in the sense of weak approximation. The continuous-time
analysis would uncover important analytical insights into the behaviors of the
discrete-time algorithm, which are non-trivial to gain otherwise. For example,
we could characterize the fluctuation of the solution paths precisely, and
decide optimal stopping time to minimize the variance of solution paths.
- Abstract（参考訳）: 乗算器の交互方向法(ADMM)とその変種(線形化ADMM、勾配ベースADMM)の確率的バージョンは、現代の大規模機械学習問題において重要な役割を果たす。
一例は正規化経験的リスク最小化問題である。
本研究では, 標準, 線形化, 勾配ベースADMMを緩和した統一形式として, 確率的ADMMの異なる変種を組込み, 連続時間モデルアプローチを用いてそれらのダイナミクスを考察する。
確率修正方程式(SME)の数学的枠組みに適応し、確率ADMMの力学が弱い近似の意味で小さな雑音パラメータを持つ確率微分方程式のクラスによって近似されることを示す。
連続時間解析は離散時間アルゴリズムの振る舞いに関する重要な分析的洞察を明らかにするだろう。
例えば、解経路の変動を正確に把握し、解経路の分散を最小限に抑える最適な停止時間を決定することができる。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - A General Continuous-Time Formulation of Stochastic ADMM and Its Variants [5.269633789700637]
我々は、一般化ADMMと呼ばれる統一的なアルゴリズムフレームワークを導入する。
継続的分析によって、ADMMと変種に関する新たな洞察が得られます。
適切なスケーリングの下では、ADMMの軌道は小さい雑音を持つ微分方程式の解に弱収束することが証明される。
論文 参考訳（メタデータ） (2024-04-22T17:12:58Z) - Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic
Problems [32.04687753889809]
Alternating Direction Method of Multipliers (ADMM) は、幅広い機械学習アプリケーションで注目を集めている。
本稿では, ペナルティパラメータの値を最適化するための一般的な手法を提案し, 続いて, 最適緩和パラメータを計算するための新しいクローズドフォーム式を提案する。
次に、ランダムなインスタンス化と多様なイメージングアプリケーションを用いてパラメータ選択法を実験的に検証する。
論文 参考訳（メタデータ） (2024-01-01T04:01:40Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳（メタデータ） (2022-02-15T09:17:39Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - Moment evolution equations and moment matching for stochastic image
EPDiff [68.97335984455059]
画像変形モデルにより、画像領域を変形させることにより、時間連続的な画像変換の研究が可能になる。
応用例としては、人口傾向とランダムな被写体特定変異の両方を用いた医療画像分析がある。
パラメータフルモデルにおける統計的推測のための推定器を構築するために、対応する伊藤拡散のモーメント近似を用いる。
論文 参考訳（メタデータ） (2021-10-07T11:08:11Z) - Variational Inference for Continuous-Time Switching Dynamical Systems [29.984955043675157]
従属拡散過程を変調したマルコフジャンプ過程に基づくモデルを提案する。
我々は,新しい連続時間変動推定アルゴリズムを開発した。
モデル仮定と実世界の実例に基づいて,我々のアルゴリズムを広範囲に評価する。
論文 参考訳（メタデータ） (2021-09-29T15:19:51Z) - A Framework of Inertial Alternating Direction Method of Multipliers for
Non-Convex Non-Smooth Optimization [17.553531291690025]
非平滑なマルチブロック複合問題のクラスを解くために,iADMM(iADMM)と呼ばれるアルゴリズムフレームワークを提案する。
本フレームワークでは,従来のADMMスキームの収束解析を統一するために,変数の各ブロックを更新するために,ジェネラル・メイジャー・サロゲート化(MM)原理を用いる。
論文 参考訳（メタデータ） (2021-02-10T13:55:28Z) - The Variational Method of Moments [65.91730154730905]
条件モーメント問題は、観測可能量の観点から構造因果パラメータを記述するための強力な定式化である。
OWGMMの変動最小値再構成により、条件モーメント問題に対する非常に一般的な推定器のクラスを定義する。
同じ種類の変分変換に基づく統計的推測のためのアルゴリズムを提供する。
論文 参考訳（メタデータ） (2020-12-17T07:21:06Z) - Stein Variational Model Predictive Control [130.60527864489168]
不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。
モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。
この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
論文 参考訳（メタデータ） (2020-11-15T22:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。