論文の概要: BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization

• arxiv url: http://arxiv.org/abs/2212.02835v1
• Date: Tue, 6 Dec 2022 09:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 18:03:12.351253
• Title: BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization
• Title（参考訳）: balpa:非スムース最適化のためのバランス付き原始双対アルゴリズムと分散最適化への応用
• Authors: Luyao Guo, Jinde Cao, Xinli Shi, Shaofu Yang
• Abstract要約: 等式制約のある合成最適化問題に対して,新しい原始二元近位分割アルゴリズム (PD-PSA) を提案する。 BALPAでは、二重更新は時間変化の二次関数の近点として設計され、原始的および二重更新の実装のバランスをとる。 本稿では,BALPA(S-BALPA)のバージョンを提案し,新たな分散最適化アルゴリズムの開発にBALPAを適用した。
• 参考スコア（独自算出の注目度）: 39.67743321086165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel primal-dual proximal splitting algorithm (PD-PSA), named BALPA, for the composite optimization problem with equality constraints, where the loss function consists of a smooth term and a nonsmooth term composed with a linear mapping. In BALPA, the dual update is designed as a proximal point for a time-varying quadratic function, which balances the implementation of primal and dual update and retains the proximity-induced feature of classic PD-PSAs. In addition, by this balance, BALPA eliminates the inefficiency of classic PD-PSAs for composite optimization problems in which the Euclidean norm of the linear mapping or the equality constraint mapping is large. Therefore, BALPA not only inherits the advantages of simple structure and easy implementation of classic PD-PSAs but also ensures a fast convergence when these norms are large. Moreover, we propose a stochastic version of BALPA (S-BALPA) and apply the developed BALPA to distributed optimization to devise a new distributed optimization algorithm. Furthermore, a comprehensive convergence analysis for BALPA and S-BALPA is conducted, respectively. Finally, numerical experiments demonstrate the efficiency of the proposed algorithms.
• Abstract（参考訳）: 本稿では、損失関数が滑らかな項と線形写像からなる非滑らかな項からなるような等式制約を持つ合成最適化問題に対して、BALPAと呼ばれる新しい原始二元近位分割アルゴリズム(PD-PSA)を提案する。 BALPAでは、二重更新は時間変化の二次関数の近点として設計されており、これは原始的および二重更新の実装のバランスを保ち、古典的なPD-PSAの近接誘導特性を保持する。 さらに、この均衡により、線形写像のユークリッドノルムや等式制約写像が大きい複合最適化問題に対する古典的なpd-psasの非効率性が排除される。 したがって、BALPAは単純な構造と古典的なPD-PSAの実装の利点を継承するだけでなく、これらのノルムが大きくなると高速収束を保証する。 さらに,BALPA(S-BALPA)の確率的バージョンを提案し,BALPAを分散最適化に適用し,新しい分散最適化アルゴリズムを提案する。 さらに,BALPAとS-BALPAの総合収束解析を行った。 最後に,提案アルゴリズムの効率性を示す数値実験を行った。

関連論文リスト

• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• From Inverse Optimization to Feasibility to ERM [11.731853838892487]
  パラメータの予測に付加的なコンテキスト情報を利用するコンテキスト逆設定について検討する。 合成および実世界の問題に対する我々のアプローチを実験的に検証し,既存手法と比較して性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:06:42Z)
• Towards Efficient and Optimal Covariance-Adaptive Algorithms for Combinatorial Semi-Bandits [12.674929126684528]
  我々は、プレイヤーがPアクションの中から d 個の基本アイテムを含む集合のパワーセットから選択する半帯域の問題に対処する。 提案手法は半帯域フィードバックを効果的に活用し,帯域フィードバックアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-23T08:07:54Z)
• On Linear Convergence of PI Consensus Algorithm under the Restricted Secant Inequality [5.35599092568615]
  本稿では,ピアツーピアマルチエージェントネットワークにおける分散最適化問題について考察する。 比例積分 (PI) 制御戦略を用いることで, 固定段数をもつ様々なアルゴリズムが開発されている。
  論文  参考訳（メタデータ） (2023-09-30T15:54:52Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Proximal Point Imitation Learning [48.50107891696562]
  我々は、無限地平線模倣学習のための厳密な効率保証を備えた新しいアルゴリズムを開発した。 我々は、最適化、特に近点法(PPM)と双対平滑化から古典的ツールを活用する。 線形関数とニューラルネットワーク関数の近似の双方に対して、説得力のある経験的性能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T12:40:21Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。