論文の概要: A Framework of Inertial Alternating Direction Method of Multipliers for
Non-Convex Non-Smooth Optimization
- arxiv url: http://arxiv.org/abs/2102.05433v1
- Date: Wed, 10 Feb 2021 13:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 14:22:45.761535
- Title: A Framework of Inertial Alternating Direction Method of Multipliers for
Non-Convex Non-Smooth Optimization
- Title（参考訳）: 非凸非平滑最適化のための慣性交互乗算器方向法の一構成法
- Authors: Le Thi Khanh Hien, Duy Nhat Phan, Nicolas Gillis
- Abstract要約: 非平滑なマルチブロック複合問題のクラスを解くために,iADMM(iADMM)と呼ばれるアルゴリズムフレームワークを提案する。
本フレームワークでは,従来のADMMスキームの収束解析を統一するために,変数の各ブロックを更新するために,ジェネラル・メイジャー・サロゲート化(MM)原理を用いる。
- 参考スコア（独自算出の注目度）: 17.553531291690025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose an algorithmic framework dubbed inertial
alternating direction methods of multipliers (iADMM), for solving a class of
nonconvex nonsmooth multiblock composite optimization problems with linear
constraints. Our framework employs the general minimization-majorization (MM)
principle to update each block of variables so as to not only unify the
convergence analysis of previous ADMM that use specific surrogate functions in
the MM step, but also lead to new efficient ADMM schemes. To the best of our
knowledge, in the \emph{nonconvex nonsmooth} setting, ADMM used in combination
with the MM principle to update each block of variables, and ADMM combined with
inertial terms for the primal variables have not been studied in the
literature. Under standard assumptions, we prove the subsequential convergence
and global convergence for the generated sequence of iterates. We illustrate
the effectiveness of iADMM on a class of nonconvex low-rank representation
problems.
- Abstract（参考訳）: 本論文では,非凸非平滑なマルチブロック合成最適化のクラスを線形制約で解くためのアルゴリズムフレームワークであるiADMM(inertial alternating direction method of multipliers)を提案する。
本フレームワークでは,変数の各ブロックを更新する汎用最小化行列化(MM)の原理を用いて,MMステップで特定の代理関数を使用する前のADMMの収束解析を統一するだけでなく,新しい効率的なADMMスキームを実現する。
私たちの知る限り、 \emph{nonconvex nonsmooth} 設定では、変数の各ブロックを更新するために MM の原則と組み合わせた ADMM とプライマリ変数の慣性用語を組み合わせた ADMM は文献では研究されていない。
標準的な仮定の下では、生成したイテレート列の次数収束とグローバル収束が証明される。
非凸な低ランク表現問題に対するiADMMの有効性について述べる。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - A General Continuous-Time Formulation of Stochastic ADMM and Its Variants [5.269633789700637]
我々は、一般化ADMMと呼ばれる統一的なアルゴリズムフレームワークを導入する。
継続的分析によって、ADMMと変種に関する新たな洞察が得られます。
適切なスケーリングの下では、ADMMの軌道は小さい雑音を持つ微分方程式の解に弱収束することが証明される。
論文 参考訳（メタデータ） (2024-04-22T17:12:58Z) - Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic
Problems [32.04687753889809]
Alternating Direction Method of Multipliers (ADMM) は、幅広い機械学習アプリケーションで注目を集めている。
本稿では, ペナルティパラメータの値を最適化するための一般的な手法を提案し, 続いて, 最適緩和パラメータを計算するための新しいクローズドフォーム式を提案する。
次に、ランダムなインスタンス化と多様なイメージングアプリケーションを用いてパラメータ選択法を実験的に検証する。
論文 参考訳（メタデータ） (2024-01-01T04:01:40Z) - Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳（メタデータ） (2023-08-31T14:16:30Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Relational Reasoning via Set Transformers: Provable Efficiency and
Applications to MARL [154.13105285663656]
置換不変エージェントフレームワークを用いたMARL(Multi-A gent R einforcement Learning)は,実世界のアプリケーションにおいて大きな実証的成功を収めた。
残念なことに、このMARL問題の理論的理解は、多くのエージェントの呪いと、既存の著作における関係推論の限定的な探索によって欠落している。
モデルフリーアルゴリズムとモデルベースアルゴリズムの最適度差は各エージェント数に独立して対数的であり、多くのエージェントの呪いを和らげる。
論文 参考訳（メタデータ） (2022-09-20T16:42:59Z) - Log-based Sparse Nonnegative Matrix Factorization for Data
Representation [55.72494900138061]
非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。
そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。
提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
論文 参考訳（メタデータ） (2022-04-22T11:38:10Z) - A Distributed Algorithm for Measure-valued Optimization with Additive
Objective [1.0965065178451106]
本稿では,加法目的を用いた測度パラメトリック最適化問題の解法として,分散非数値アルゴリズムを提案する。
提案アルゴリズムは2層交互方向乗算器(ADMM)からなる。
全体のアルゴリズムは、確率測度の多様体内の流れの演算子分割勾配を実現する。
論文 参考訳（メタデータ） (2022-02-17T23:09:41Z) - Multiblock ADMM for nonsmooth nonconvex optimization with nonlinear
coupling constraints [3.2815423235774634]
非線形制約を伴う多重ブロック非平滑交互最適化問題のクラスを解くための乗算器の手法を提案する。
一次変数の各ブロックの更新に主要なシーケンス化手順を用いる。
論文 参考訳（メタデータ） (2022-01-19T15:31:30Z) - Alternating Direction Method of Multipliers for Quantization [15.62692130672419]
量子化のための乗算器の交互方向法(texttADMM-Q$)アルゴリズムの性能について検討する。
不正確な更新ルールを処理できる$texttADMM-Q$のいくつかのバリエーションを開発しています。
提案手法の有効性を実証的に評価した。
論文 参考訳（メタデータ） (2020-09-08T01:58:02Z) - Faster Stochastic Alternating Direction Method of Multipliers for
Nonconvex Optimization [110.52708815647613]
本稿では、SPADMMと呼ばれる新しい経路を用いて、非積分最適化のための乗算器の高速な交互方向(ADMM)を提案する。
我々は,SPADMMが1次微分オラクル推定器 (IFO) を達成し,IFOの記録を求める。
我々は,オンラインSPIDER-ADMMがIFOFO(epsilon)を$mathcalO(n1)$の係数で持つことを示した。
論文 参考訳（メタデータ） (2020-08-04T02:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。