論文の概要: Global Convergence of Model Function Based Bregman Proximal Minimization
Algorithms
- arxiv url: http://arxiv.org/abs/2012.13161v1
- Date: Thu, 24 Dec 2020 08:09:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:21:16.438268
- Title: Global Convergence of Model Function Based Bregman Proximal Minimization
Algorithms
- Title（参考訳）: モデル関数に基づくBregman近位最小化アルゴリズムの大域的収束
- Authors: Mahesh Chandra Mukkamala, Jalal Fadili, Peter Ochs
- Abstract要約: 連続微分可能関数のリプシッツ写像は様々な最適化アルゴリズムにおいて重要な役割を果たす。
モデル$L$madプロパティと呼ばれるグローバル収束アルゴリズムを提案します。
- 参考スコア（独自算出の注目度）: 17.740376367999705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lipschitz continuity of the gradient mapping of a continuously differentiable
function plays a crucial role in designing various optimization algorithms.
However, many functions arising in practical applications such as low rank
matrix factorization or deep neural network problems do not have a Lipschitz
continuous gradient. This led to the development of a generalized notion known
as the $L$-smad property, which is based on generalized proximity measures
called Bregman distances. However, the $L$-smad property cannot handle
nonsmooth functions, for example, simple nonsmooth functions like $\abs{x^4-1}$
and also many practical composite problems are out of scope. We fix this issue
by proposing the MAP property, which generalizes the $L$-smad property and is
also valid for a large class of nonconvex nonsmooth composite problems. Based
on the proposed MAP property, we propose a globally convergent algorithm called
Model BPG, that unifies several existing algorithms. The convergence analysis
is based on a new Lyapunov function. We also numerically illustrate the
superior performance of Model BPG on standard phase retrieval problems, robust
phase retrieval problems, and Poisson linear inverse problems, when compared to
a state of the art optimization method that is valid for generic nonconvex
nonsmooth optimization problems.
- Abstract（参考訳）: 連続微分可能関数の勾配写像のリプシッツ連続性は、様々な最適化アルゴリズムの設計において重要な役割を果たす。
しかし、低階行列因数分解やディープニューラルネットワーク問題のような実践的な応用で生じる多くの関数は、リプシッツ連続勾配を持たない。
これは、ブレグマン距離と呼ばれる一般化された近接測度に基づく、$l$-smadプロパティとして知られる一般化概念の開発につながった。
しかし、$L$-smadプロパティは、例えば$\abs{x^4-1}$のような単純な非滑らか関数を扱えない。
これは$l$-smadプロパティを一般化し、非凸な非滑らかな複合問題の大きなクラスにも有効である。
提案するマップ特性に基づいて,複数の既存アルゴリズムを統一したモデル bpg という大域収束アルゴリズムを提案する。
収束解析は新しいリアプノフ関数に基づいている。
また,一般の非凸非滑らかな最適化問題に対して有効なアート最適化手法の状態と比較して,標準位相探索問題,ロバスト位相探索問題,ポアソン線形逆問題に対するモデルBPGの優れた性能を数値的に説明する。
関連論文リスト
- Optimization on a Finer Scale: Bounded Local Subgradient Variation Perspective [17.5796206457693]
局所的な局所次変分の下での非滑らかな最適化問題について検討する。
得られた目的のクラスは、定義されたクラスに基づいて目的のクラスをカプセル化する。
論文 参考訳（メタデータ） (2024-03-24T22:42:40Z) - Nonsmooth Projection-Free Optimization with Functional Constraints [12.20060970177791]
本稿では,制約付き非平滑凸計算のための段階的アルゴリズムを提案する。
提案アルゴリズムは一般凸関数不等式制約で非滑らかな問題を扱うことができる。
決定論的下位段階が下位段階に置き換わる際にも同様のパフォーマンスが観察される。
論文 参考訳（メタデータ） (2023-11-18T23:06:33Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Nonconvex Stochastic Bregman Proximal Gradient Method for Nonconvex Composite Problems [9.202586157819693]
非合成対象関数の勾配法は、典型的には微分可能部分のリプシッツ滑らかさに依存する。
非目的の非Lipschitz勾配を扱う近似モデルを提案する。
ステップ選択感度の観点から最適なロバスト性が得られることを示す。
論文 参考訳（メタデータ） (2023-06-26T08:54:46Z) - Gradient-free optimization of highly smooth functions: improved analysis
and a new algorithm [87.22224691317766]
この研究は、目的関数が極めて滑らかであるという仮定の下で、ゼロ次ノイズオラクル情報による問題を研究する。
ゼロオーダー射影勾配勾配アルゴリズムを2種類検討する。
論文 参考訳（メタデータ） (2023-06-03T17:05:13Z) - On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。
本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2023-05-30T17:47:27Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-19T14:48:54Z) - Low Regret Binary Sampling Method for Efficient Global Optimization of
Univariate Functions [0.0]
最適クエリと目的関数の最適値との単純な後悔ではなく,アルゴリズムの累積的後悔について検討する。
提案手法は従来の下界アルゴリズムと類似しているが,計算コストの優位性は大きい。
論文 参考訳（メタデータ） (2022-01-18T18:11:48Z) - Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。
リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。
このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文 参考訳（メタデータ） (2021-02-27T19:28:39Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Efficient algorithms for multivariate shape-constrained convex
regression problems [9.281671380673306]
最小二乗推定器は、制約付き凸プログラミング(QP)問題を$(n+1)d$変数と少なくとも$n(n-1)$線形不等式制約で解くことで計算可能であることを証明している。
一般に非常に大規模な凸QPを解くために、我々は2つの効率的なアルゴリズムを設計する。1つは対称ガウス・シーデルに基づく乗算器の交互方向法(tt sGS-ADMM)であり、もう1つは半滑らかニュートン法(tt)によって解かれる部分プロブレムを持つ近似拡張ラグランジアン法(tt pALM)である。
論文 参考訳（メタデータ） (2020-02-26T11:18:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。