論文の概要: Federated Composite Saddle Point Optimization

• arxiv url: http://arxiv.org/abs/2305.15643v1
• Date: Thu, 25 May 2023 01:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:03:41.351113
• Title: Federated Composite Saddle Point Optimization
• Title（参考訳）: 複合サドル点最適化
• Authors: Site Bai and Brian Bullins
• Abstract要約: FLパラダイムの下でのサドル点最適化と合成目的の両方を包含する外段原始双対アルゴリズムであるFederated Dual Extrapolation (FeDualEx)を提案する。 収束解析と経験的評価の両方がFeDualExの有効性を示した。 FeDualExのシーケンシャルバージョンであっても、私たちの知る限り、以前の文献では見つからない複合サドル点設定のレートを提供する。
• 参考スコア（独自算出の注目度）: 7.467775044649487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) approaches for saddle point problems (SPP) have recently gained in popularity due to the critical role they play in machine learning (ML). Existing works mostly target smooth unconstrained objectives in Euclidean space, whereas ML problems often involve constraints or non-smooth regularization, which results in a need for composite optimization. Addressing these issues, we propose Federated Dual Extrapolation (FeDualEx), an extra-step primal-dual algorithm, which is the first of its kind that encompasses both saddle point optimization and composite objectives under the FL paradigm. Both the convergence analysis and the empirical evaluation demonstrate the effectiveness of FeDualEx in these challenging settings. In addition, even for the sequential version of FeDualEx, we provide rates for the stochastic composite saddle point setting which, to our knowledge, are not found in prior literature.
• Abstract（参考訳）: フェデレートラーニング(FL)によるサドルポイント問題(SPP)に対するアプローチは、機械学習(ML)において重要な役割を担っているため、最近人気を集めている。 既存の作業は主にユークリッド空間の滑らかな非制約対象を対象とするが、ML問題はしばしば制約や非滑らかな正規化を伴い、複合最適化の必要性が生じる。 これらの問題に対処するために,本論文では,flパラダイムの下でサドルポイント最適化と複合目的の両方を包含する,ステップ外原始双対アルゴリズムであるフェデレート双対外挿法(fedualex)を提案する。 収束解析と実証評価の両方が、これらの困難な環境でのFeDualExの有効性を示している。 また,FeDualEx の逐次バージョンにおいても,従来の文献では見つからない確率論的複合サドル点設定の比率が提供される。

関連論文リスト

• Effectively Leveraging Momentum Terms in Stochastic Line Search Frameworks for Fast Optimization of Finite-Sum Problems [0.5156484100374059]
  過度にパラメータ化された状態における深度最適化のための最近の線探索手法と運動量方向との関係について検討する。 モーメントパラメータの定義にデータ持続性、共役型ルールの混合を利用するアルゴリズムを導入する。 結果のアルゴリズムは、他の一般的な手法よりも優れていることを実証的に示している。
  論文  参考訳（メタデータ） (2024-11-11T16:26:33Z)
• A-FedPD: Aligning Dual-Drift is All Federated Primal-Dual Learning Needs [57.35402286842029]
  本稿では,グローバルクライアントとローカルクライアントの仮想二重配向を構成する新しいアラインドデュアルデュアル(A-FedPD)手法を提案する。 本稿では,A-FedPD方式の非集中型セキュリティコンセンサスに対する効率を包括的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T17:00:32Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
  本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。 この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。 両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-14T10:36:25Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。