論文の概要: Decentralized Personalized Federated Min-Max Problems

• arxiv url: http://arxiv.org/abs/2106.07289v1
• Date: Mon, 14 Jun 2021 10:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:29:16.391866
• Title: Decentralized Personalized Federated Min-Max Problems
• Title（参考訳）: 分散化連帯型min-max問題
• Authors: Aleksandr Beznosikov and Vadim Sushko and Abdurakhmon Sadiev and Alexander Gasnikov
• Abstract要約: 本論文はサドル点問題に対する最初の理論的PFLであり、より広範なタスクのクラスであり、したがってより最小化される。 分散ネットワークとフェデレーションネットワークのための2つの新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 121.61656052229421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized Federated Learning has recently seen tremendous progress, allowing the design of novel machine learning applications preserving privacy of the data used for training. Existing theoretical results in this field mainly focus on distributed optimization under minimization problems. This paper is the first to study PFL for saddle point problems, which cover a broader class of optimization tasks and are thus of more relevance for applications than the minimization. In this work, we consider a recently proposed PFL setting with the mixing objective function, an approach combining the learning of a global model together with local distributed learners. Unlike most of the previous papers, which considered only the centralized setting, we work in a more general and decentralized setup. This allows to design and to analyze more practical and federated ways to connect devices to the network. We present two new algorithms for our problem. A theoretical analysis of the methods is presented for smooth (strongly-)convex-(strongly-)concave saddle point problems. We also demonstrate the effectiveness of our problem formulation and the proposed algorithms on experiments with neural networks with adversarial noise.
• Abstract（参考訳）: パーソナライズド・フェデレートド・ラーニング(Personalized Federated Learning)は、最近大きく進歩し、トレーニングに使用されるデータのプライバシを保存する新しい機械学習アプリケーションの設計を可能にした。 この分野での既存の理論結果は、主に最小化問題の下での分散最適化に焦点を当てている。 本論文は,より広範な最適化タスクを網羅し,最小化よりも応用性が高い,サドル点問題に対するPFLを初めて研究したものである。 本研究では,グローバルモデルの学習をローカル分散学習者と組み合わせた手法である混合目的関数を用いた最近提案されたPFLについて考察する。 中央集権的な設定のみを考慮した以前のほとんどの論文とは異なり、より一般的で分散化された設定で作業しています。 これにより、デバイスとネットワークを接続するより実用的で連合した方法の設計と分析が可能になる。 我々はこの問題に対して2つの新しいアルゴリズムを提案する。 この手法の理論的解析は滑らかな(強い)凸-(強い)凹点問題に対して提示される。 また,逆方向雑音を持つニューラルネットワーク実験における問題定式化と提案アルゴリズムの有効性を実証した。

関連論文リスト

• On The Global Convergence Of Online RLHF With Neural Parametrization [36.239015146313136]
  Reinforcement Learning from Human Feedback (RLHF)は、大きな言語モデルと人間の価値を結びつけることを目的としている。 RLHFは、教師付き微調整、報酬学習、政策学習を含む3段階のプロセスである。 本稿では、パラメータ化設定におけるAIアライメントのための2段階の定式化を提案し、この問題を解決するための一階法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T03:13:35Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Federated Gradient Matching Pursuit [17.695717854068715]
  従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。 特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。 本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
  論文  参考訳（メタデータ） (2023-02-20T16:26:29Z)
• Multi-Resource Allocation for On-Device Distributed Federated Learning Systems [79.02994855744848]
  本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。 システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
  論文  参考訳（メタデータ） (2022-11-01T14:16:05Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• A Field Guide to Federated Optimization [161.3779046812383]
  フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。 本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-07-14T18:09:08Z)
• Gradient tracking and variance reduction for decentralized optimization and machine learning [19.54092620537586]
  有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-13T07:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。