論文の概要: An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2010.12133v3
• Date: Tue, 20 Sep 2022 12:28:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 00:21:39.917428
• Title: An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization
• Title（参考訳）: 非滑らかな非凸最適化のための慣性ブロックメジャー化最小化フレームワーク
• Authors: Le Thi Khanh Hien, Duy Nhat Phan, Nicolas Gillis
• Abstract要約: 非スムーズな非コーディネート問題に対する新規なinertial block majorizaTion minimizAtioNについて紹介する。 本稿では,2つの重要な機械学習問題に対するTITANの有効性について述べる。
• 参考スコア（独自算出の注目度）: 17.49766938060264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce TITAN, a novel inerTIal block majorizaTion minimizAtioN framework for non-smooth non-convex optimization problems. To the best of our knowledge, TITAN is the first framework of block-coordinate update method that relies on the majorization-minimization framework while embedding inertial force to each step of the block updates. The inertial force is obtained via an extrapolation operator that subsumes heavy-ball and Nesterov-type accelerations for block proximal gradient methods as special cases. By choosing various surrogate functions, such as proximal, Lipschitz gradient, Bregman, quadratic, and composite surrogate functions, and by varying the extrapolation operator, TITAN produces a rich set of inertial block-coordinate update methods. We study sub-sequential convergence as well as global convergence for the generated sequence of TITAN. We illustrate the effectiveness of TITAN on two important machine learning problems, namely sparse non-negative matrix factorization and matrix completion.
• Abstract（参考訳）: 本稿では,非滑らかな非凸最適化問題に対して,新しいinertial block majorizaTion minimizAtioNフレームワークであるTITANを紹介する。 我々の知る限り、TITANは、ブロック更新の各ステップに慣性力を埋め込みながら、メジャー化最小化フレームワークに依存するブロックコーディネート更新メソッドの最初のフレームワークである。 慣性力は、ブロック近位勾配法のために重球およびネステロフ型加速度を特別な場合として推定する外挿演算子によって得られる。 近位、リプシッツ勾配、ブレグマン、二次関数、複合サーロゲート関数などの様々なサーロゲート関数を選択し、外挿演算子を変化させることで、titanは豊富な慣性ブロック座標更新法を生成する。 我々は,TITANの生成配列に対するサブシーケンス収束とグローバル収束について検討した。 本稿では,TITANの非負行列分解と行列補完という2つの重要な機械学習問題に対する有効性について述べる。

関連論文リスト

• Submodular Framework for Structured-Sparse Optimal Transport [7.030105924295838]
  非平衡最適輸送(UOT)は、非正規化対策の柔軟な枠組みとロバスト性により、近年注目を集めている。 本研究では,UOT設定における疎輸送計画の学習(構造化)について検討する。 本稿では,最近検討された平均誤差に基づく UOT を用いた新しい空間制約付き UOT の定式化を提案する。
  論文  参考訳（メタデータ） (2024-06-07T13:11:04Z)
• Energy-Guided Continuous Entropic Barycenter Estimation for General Costs [95.33926437521046]
  任意のOTコスト関数に対して連続的エントロピーOT(EOT)バリセンタを近似する新しいアルゴリズムを提案する。 本手法は、弱いOTに基づくEOT問題の二重再構成に基づいている。
  論文  参考訳（メタデータ） (2023-10-02T11:24:36Z)
• Multiblock ADMM for nonsmooth nonconvex optimization with nonlinear coupling constraints [3.2815423235774634]
  非線形制約を伴う多重ブロック非平滑交互最適化問題のクラスを解くための乗算器の手法を提案する。 一次変数の各ブロックの更新に主要なシーケンス化手順を用いる。
  論文  参考訳（メタデータ） (2022-01-19T15:31:30Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)
• Value-Function-based Sequential Minimization for Bi-level Optimization [52.39882976848064]
  勾配に基づくBi-Level Optimization (BLO)法は、現代の学習課題に広く応用されている。 機能的制約のあるBLOや悲観的なBLOなど、難解なシナリオでBLOを解くことができる勾配ベースの方法はほとんどない。 上記の問題に対処するために,BVFSM(Bi-level Value-Function-based Sequential Minimization)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T03:13:39Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Block Alternating Bregman Majorization Minimization with Extrapolation [16.04690575393738]
  ブロック相対滑らか関数と適切な分離関数の和を目的とする非滑らかな非最適化問題のクラスを考える。 外部補間(BMME)を用いたBregmanMajorization-Minimizationフレームワークを交互に提案する。 より強い条件下でのペナル化非負行列に対するBMMEの有効性を実証した。
  論文  参考訳（メタデータ） (2021-07-09T12:47:00Z)
• A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning [9.204659134755795]
  深層強化学習のための線形プログラミング(LP)の定式化について検討する。 拡張ラグランジアン法は、LPの解法において二重サンプリング障害に悩まされる。 深層パラメタライズされたラグランジアン法を提案する。
  論文  参考訳（メタデータ） (2021-05-20T13:08:06Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。