論文の概要: Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning

• arxiv url: http://arxiv.org/abs/2103.05032v1
• Date: Mon, 8 Mar 2021 19:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 15:06:06.032832
• Title: Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
• Title（参考訳）: 連合学習とメタラーニングにおける収束と正確性トレードオフ
• Authors: Zachary Charles, Jakub Kone\v{c}n\'y
• Abstract要約: 私たちは、ローカル更新方法と呼ばれるアルゴリズムのファミリーを研究します。 二次モデルの場合、局所的な更新手法は代理損失の1次最適化と等価であることを示す。 これらのトレードオフを示す新しい収束率を導き出し、通信制限設定におけるその重要性を強調します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a family of algorithms, which we refer to as local update methods, generalizing many federated and meta-learning algorithms. We prove that for quadratic models, local update methods are equivalent to first-order optimization on a surrogate loss we exactly characterize. Moreover, fundamental algorithmic choices (such as learning rates) explicitly govern a trade-off between the condition number of the surrogate loss and its alignment with the true loss. We derive novel convergence rates showcasing these trade-offs and highlight their importance in communication-limited settings. Using these insights, we are able to compare local update methods based on their convergence/accuracy trade-off, not just their convergence to critical points of the empirical loss. Our results shed new light on a broad range of phenomena, including the efficacy of server momentum in federated learning and the impact of proximal client updates.
• Abstract（参考訳）: 我々は,多くのフェデレーションおよびメタ学習アルゴリズムを一般化し,局所的な更新手法と呼ぶアルゴリズム群について検討する。 二次モデルの場合、局所更新法は正に特徴付けられる代理損失の1次最適化と等価であることを示す。 さらに、基本的なアルゴリズム選択(学習率など)は、代理損失の条件数とその真の損失との整合の間のトレードオフを明示的に規定する。 これらのトレードオフを示す新しい収束率を導き出し、通信制限設定におけるその重要性を強調します。 これらの知見を用いて,局所更新手法を,経験的損失の臨界点に収束するだけでなく,その収束/正確性トレードオフに基づいて比較することができる。 その結果,フェデレート学習におけるサーバの運動量の有効性や,クライアント近位更新の影響など,幅広い現象に新たな光を当てた。

関連論文リスト

• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
  フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。 我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。 本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
  論文  参考訳（メタデータ） (2024-02-08T10:52:37Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer [42.19443600254834]
  本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。 FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。 代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
  論文  参考訳（メタデータ） (2023-06-27T10:00:06Z)
• Global Update Guided Federated Learning [11.731231528534035]
  フェデレーション学習は、データの代わりにモデルを交換することで、データのプライバシとセキュリティを保護する。 本稿では,局所目的関数にモデルコサイン損失を導入したグローバル更新誘導型フェデレーションラーニング(FedGG)を提案する。 数値シミュレーションにより、FedGGはモデル収束精度と速度を著しく改善していることが示された。
  論文  参考訳（メタデータ） (2022-04-08T08:36:26Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• On the Outsized Importance of Learning Rates in Local Update Methods [2.094022863940315]
  我々は,多くのフェデレーション学習とメタ学習アルゴリズムを一般化する,局所的な更新手法と呼ばれるアルゴリズム群について検討する。 2次目的に対して、局所更新法は、正に特徴付けられる代理損失関数の勾配降下を実行することを証明した。 クライアント学習率の選択は、サロゲート損失の条件数と、サロゲート最小化関数と真の損失関数との距離を制御していることを示す。
  論文  参考訳（メタデータ） (2020-07-02T04:45:55Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。