論文の概要: A General Continuous-Time Formulation of Stochastic ADMM and Its Variants

• arxiv url: http://arxiv.org/abs/2404.14358v1
• Date: Mon, 22 Apr 2024 17:12:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 13:08:10.051923
• Title: A General Continuous-Time Formulation of Stochastic ADMM and Its Variants
• Title（参考訳）: 確率ADMMとその変数の一般連続時間定式化
• Authors: Chris Junchi Li,
• Abstract要約: 我々は、一般化ADMMと呼ばれる統一的なアルゴリズムフレームワークを導入する。 継続的分析によって、ADMMと変種に関する新たな洞察が得られます。 適切なスケーリングの下では、ADMMの軌道は小さい雑音を持つ微分方程式の解に弱収束することが証明される。
• 参考スコア（独自算出の注目度）: 5.269633789700637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic versions of the alternating direction method of multiplier (ADMM) and its variants play a key role in many modern large-scale machine learning problems. In this work, we introduce a unified algorithmic framework called generalized stochastic ADMM and investigate their continuous-time analysis. The generalized framework widely includes many stochastic ADMM variants such as standard, linearized and gradient-based ADMM. Our continuous-time analysis provides us with new insights into stochastic ADMM and variants, and we rigorously prove that under some proper scaling, the trajectory of stochastic ADMM weakly converges to the solution of a stochastic differential equation with small noise. Our analysis also provides a theoretical explanation of why the relaxation parameter should be chosen between 0 and 2.
• Abstract（参考訳）: 乗算器の交互方向法(ADMM)の確率的バージョンとその変種は、多くの現代の大規模機械学習問題において重要な役割を果たす。 本研究では,一般化確率ADMM(Generalized Stochastic ADMM)と呼ばれる統合アルゴリズムフレームワークを導入し,その連続時間解析について検討する。 一般化されたフレームワークは、標準、線形化、勾配に基づくADMMのような多くの確率的ADMM変種を含む。 連続時間解析により確率微分方程式と変分に関する新たな知見が得られ、ある適切なスケーリングの下では、確率微分方程式の軌道が小さな雑音を持つ確率微分方程式の解に弱収束することを厳密に証明する。 我々の分析はまた、緩和パラメータが 0 から 2 の間で選択されるべき理由を理論的に説明する。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic Problems [32.04687753889809]
  Alternating Direction Method of Multipliers (ADMM) は、幅広い機械学習アプリケーションで注目を集めている。 本稿では, ペナルティパラメータの値を最適化するための一般的な手法を提案し, 続いて, 最適緩和パラメータを計算するための新しいクローズドフォーム式を提案する。 次に、ランダムなインスタンス化と多様なイメージングアプリケーションを用いてパラメータ選択法を実験的に検証する。
  論文  参考訳（メタデータ） (2024-01-01T04:01:40Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Markov Chain Monte Carlo for Continuous-Time Switching Dynamical Systems [26.744964200606784]
  マルコフ連鎖モンテカルロ法による新しい推論アルゴリズムを提案する。 提示されたギブスサンプルは、正確な連続時間後処理から試料を効率的に得ることができる。
  論文  参考訳（メタデータ） (2022-05-18T09:03:00Z)
• A Distributed Algorithm for Measure-valued Optimization with Additive Objective [1.0965065178451106]
  本稿では,加法目的を用いた測度パラメトリック最適化問題の解法として,分散非数値アルゴリズムを提案する。 提案アルゴリズムは2層交互方向乗算器(ADMM)からなる。 全体のアルゴリズムは、確率測度の多様体内の流れの演算子分割勾配を実現する。
  論文  参考訳（メタデータ） (2022-02-17T23:09:41Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization [17.553531291690025]
  非平滑なマルチブロック複合問題のクラスを解くために,iADMM(iADMM)と呼ばれるアルゴリズムフレームワークを提案する。 本フレームワークでは,従来のADMMスキームの収束解析を統一するために,変数の各ブロックを更新するために,ジェネラル・メイジャー・サロゲート化(MM)原理を用いる。
  論文  参考訳（メタデータ） (2021-02-10T13:55:28Z)
• The Variational Method of Moments [65.91730154730905]
  条件モーメント問題は、観測可能量の観点から構造因果パラメータを記述するための強力な定式化である。 OWGMMの変動最小値再構成により、条件モーメント問題に対する非常に一般的な推定器のクラスを定義する。 同じ種類の変分変換に基づく統計的推測のためのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-12-17T07:21:06Z)
• A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces [53.47210316424326]
  KeRNSは、非定常マルコフ決定過程におけるエピソード強化学習のためのアルゴリズムである。 我々は、状態-作用空間の被覆次元と時間とともにMDPの総変動にスケールする後悔境界を証明した。
  論文  参考訳（メタデータ） (2020-07-09T21:37:13Z)
• Stochastic Modified Equations for Continuous Limit of Stochastic ADMM [13.694172299830315]
  我々は、ADMMの異なる変種を統一形式にし、リラクゼーションを伴う標準、線形化、勾配ベースADMMを含み、連続時間モデルアプローチを用いてそれらの力学を研究する。 我々は,ADMMの力学を,弱い近似の意味で小さな雑音パラメータを持つ微分方程式のクラスで近似することを示した。
  論文  参考訳（メタデータ） (2020-03-07T08:01:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。