論文の概要: Compositional federated learning: Applications in distributionally robust averaging and meta learning

• arxiv url: http://arxiv.org/abs/2106.11264v3
• Date: Wed, 26 Jul 2023 23:25:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 20:58:35.975599
• Title: Compositional federated learning: Applications in distributionally robust averaging and meta learning
• Title（参考訳）: 構成的連合学習:分布的ロバストな平均化とメタ学習への応用
• Authors: Feihu Huang, Junyi Li
• Abstract要約: 本稿では,新しい構成フェデレートラーニング(FL)フレームワークを解くための,効率的かつ効率的な合成フェデレートラーニング(ComFedL)アルゴリズムを提案する。 我々はComFedLアルゴリズムが$O(frac1sqrtT)$の収束率を達成することを証明した。
• 参考スコア（独自算出の注目度）: 31.97853929292195
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the paper, we propose an effective and efficient Compositional Federated Learning (ComFedL) algorithm for solving a new compositional Federated Learning (FL) framework, which frequently appears in many data mining and machine learning problems with a hierarchical structure such as distributionally robust FL and model-agnostic meta learning (MAML). Moreover, we study the convergence analysis of our ComFedL algorithm under some mild conditions, and prove that it achieves a convergence rate of $O(\frac{1}{\sqrt{T}})$, where $T$ denotes the number of iteration. To the best of our knowledge, our new Compositional FL framework is the first work to bridge federated learning with composition stochastic optimization. In particular, we first transform the distributionally robust FL (i.e., a minimax optimization problem) into a simple composition optimization problem by using KL divergence regularization. At the same time, we also first transform the distribution-agnostic MAML problem (i.e., a minimax optimization problem) into a simple yet effective composition optimization problem. Finally, we apply two popular machine learning tasks, i.e., distributionally robust FL and MAML to demonstrate the effectiveness of our algorithm.
• Abstract（参考訳）: 本稿では,分散ロバストflやモデル非依存メタ学習(maml)といった階層構造を持つ多くのデータマイニング問題や機械学習問題で頻繁に発生する新しい構成的フェデレーション学習(fl)フレームワークの解法として,効率的かつ効率的な構成的フェデレーション学習(comfedl)アルゴリズムを提案する。 さらに,いくつかの穏やかな条件下でのcomfedlアルゴリズムの収束解析を行い,$t$ が反復数を表す$o(\frac{1}{\sqrt{t}})$ の収束率を達成することを証明した。 我々の知る限り、我々の新しいコンポジションFLフレームワークは、コンポジション確率最適化によるフェデレーション学習を橋渡しする最初の試みである。 特に、分布的に堅牢なFL(ミニマックス最適化問題)をKL分散正規化を用いて単純な合成最適化問題に変換する。 同時に、分布に依存しないMAML問題(ミニマックス最適化問題)も、単純で効果的な合成最適化問題に変換する。 最後に、分布的に堅牢なFLとMAMLの2つの機械学習タスクを適用し、アルゴリズムの有効性を実証する。

関連論文リスト

• Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
  本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。 提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:53:28Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization [14.579475552088692]
  非分散合成問題の解法として,高速なフェデレート合成最適化アルゴリズム(MFCGDとAdaMFCGD)を提案する。 特に、我々の適応アルゴリズム(AdaMFCGD)は、様々な適応学習率を柔軟に組み込むために統一適応行列を使用する。
  論文  参考訳（メタデータ） (2022-11-03T15:17:04Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
  本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。 この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。 両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-14T10:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。