Fugu-MT 論文翻訳(概要): Primal-Dual Sequential Subspace Optimization for Saddle-point Problems

論文の概要: Primal-Dual Sequential Subspace Optimization for Saddle-point Problems

arxiv url: http://arxiv.org/abs/2008.09149v1
Date: Thu, 20 Aug 2020 18:19:19 GMT
ステータス: 処理完了
システム内更新日: 2022-10-27 03:13:56.237877
Title: Primal-Dual Sequential Subspace Optimization for Saddle-point Problems
Title（参考訳）: サドルポイント問題に対する主元-双順序逐次部分空間最適化
Authors: Yoni Choukroun, Michael Zibulevsky, Pavel Kisilev
Abstract要約: 大規模サドル点問題に対する逐次部分空間最適化手法を提案する。低次元部分空間における補助的サドル点問題(英語版)を、原始整数双対変数上の一階情報から導かれる方向によって解決する。実験結果は、一般的な一階法と比較して、かなり良い収束性を示した。
参考スコア（独自算出の注目度）: 3.9582154141918964
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a new sequential subspace optimization method for large-scale saddle-point problems. It solves iteratively a sequence of auxiliary saddle-point problems in low-dimensional subspaces, spanned by directions derived from first-order information over the primal \emph{and} dual variables. Proximal regularization is further deployed to stabilize the optimization process. Experimental results demonstrate significantly better convergence relative to popular first-order methods. We analyze the influence of the subspace on the convergence of the algorithm, and assess its performance in various deterministic optimization scenarios, such as bi-linear games, ADMM-based constrained optimization and generative adversarial networks.
Abstract（参考訳）: 大規模サドル点問題に対する逐次部分空間最適化手法を提案する。低次元部分空間における補助的 saddle-point 問題の列を反復的に解き、素数 \emph{and} 双対変数上の一階情報から導かれる方向にまたがる。最適化プロセスを安定化するために近位正則化がさらに展開される。実験の結果, 一般的な一階法に比べて収束率が有意に向上した。部分空間がアルゴリズムの収束に与える影響を分析し,双線形ゲーム,admmに基づく制約付き最適化,生成型逆ネットワークなど,様々な決定論的最適化シナリオにおけるその性能を評価する。

関連論文リスト

Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文参考訳（メタデータ） (2024-04-16T20:01:10Z)
An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。数値実験により,困難シナリオにおける本手法の有効性が検証された。
論文参考訳（メタデータ） (2024-03-08T16:21:08Z)
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization [3.867143522757309]
この研究は、制約集合が多様体構造を意味するような制約付き大規模非制約最適化に関するものである。本稿では,収束性の向上と計算コストの削減を目的とした2階サドル最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-22T00:37:44Z)
Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。決定集合の低次元構造を高次元問題に活用する。
論文参考訳（メタデータ） (2022-11-21T18:31:43Z)
Two-Stage Stochastic Optimization via Primal-Dual Decomposition and Deep Unrolling [86.85697555068168]
2段階のアルゴリズム最適化は、様々な工学や科学的応用において重要な役割を果たす。特に長期変数と短期変数が制約の中で結合されている場合、アルゴリズムは効率的ではない。 PDD-SSCAが既存のソリューションよりも優れたパフォーマンスを達成できることを示します。
論文参考訳（メタデータ） (2021-05-05T03:36:00Z)
Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文参考訳（メタデータ） (2020-09-08T06:54:11Z)
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文参考訳（メタデータ） (2020-06-11T18:49:06Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文参考訳（メタデータ） (2020-06-10T15:00:09Z)
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文参考訳（メタデータ） (2020-05-19T07:44:52Z)
A Riemannian Primal-dual Algorithm Based on Proximal Operator and its Application in Metric Learning [3.511851311025242]
一次変数と双対変数を反復的に最適化する原始双対アルゴリズムを提案する。提案アルゴリズムの収束を証明し,その非漸近収束率を示す。ファンドマネージメントにおける最適ファンド選択問題に関する予備実験の結果,有効性が確認された。
論文参考訳（メタデータ） (2020-05-19T03:31:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。