論文の概要: FedVeca: Federated Vectorized Averaging on Non-IID Data with Adaptive
Bi-directional Global Objective
- arxiv url: http://arxiv.org/abs/2209.13803v1
- Date: Wed, 28 Sep 2022 03:14:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 17:30:34.842517
- Title: FedVeca: Federated Vectorized Averaging on Non-IID Data with Adaptive
Bi-directional Global Objective
- Title（参考訳）: FedVeca: 適応的双方向グローバルオブジェクトによる非IIDデータのフェデレーションベクトル平均化
- Authors: Ping Luo, Jieren Cheng, Zhenhao Liu, N.Xiong, Jie Wu
- Abstract要約: 非IIDデータ上の問題に対処するフェデレートベクトル平均化法(FedVeca)を提案する。
FedVecaでは、方向はステップサイズの影響を受けており、異なるステップサイズの影響を低減するために、双方向ベクトルを平均化する。
上界に基づいて,目的を最適に近づけるステップサイズを適応的に調整する,サーバとクライアントのためのアルゴリズムを設計する。
- 参考スコア（独自算出の注目度）: 20.082927196482636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed machine learning framework to
alleviate the data silos, where decentralized clients collaboratively learn a
global model without sharing their private data. However, the clients'
Non-Independent and Identically Distributed (Non-IID) data negatively affect
the trained model, and clients with different numbers of local updates may
cause significant gaps to the local gradients in each communication round. In
this paper, we propose a Federated Vectorized Averaging (FedVeca) method to
address the above problem on Non-IID data. Specifically, we set a novel
objective for the global model which is related to the local gradients. The
local gradient is defined as a bi-directional vector with step size and
direction, where the step size is the number of local updates and the direction
is divided into positive and negative according to our definition. In FedVeca,
the direction is influenced by the step size, thus we average the
bi-directional vectors to reduce the effect of different step sizes. Then, we
theoretically analyze the relationship between the step sizes and the global
objective, and obtain upper bounds on the step sizes per communication round.
Based on the upper bounds, we design an algorithm for the server and the client
to adaptively adjusts the step sizes that make the objective close to the
optimum. Finally, we conduct experiments on different datasets, models and
scenarios by building a prototype system, and the experimental results
demonstrate the effectiveness and efficiency of the FedVeca method.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、データサイロを緩和する分散型機械学習フレームワークである。
しかし、クライアントの非独立分散(Non-IID)データは、トレーニングされたモデルに悪影響を及ぼし、ローカル更新数の異なるクライアントは、各通信ラウンドの局所的な勾配に大きなギャップを生じさせる可能性がある。
本稿では,非iidデータを用いたフェデレーションベクトル平均化法(federated vectorized averaging, fedveca)を提案する。
具体的には,局所勾配に関連するグローバルモデルに対して,新たな目標を設定した。
局所勾配は、ステップサイズと方向を持つ双方向ベクトルとして定義され、ステップサイズは局所的な更新回数であり、その方向は定義に従って正と負に分けられる。
FedVecaでは、方向はステップサイズの影響を受けており、異なるステップサイズの影響を低減するために、双方向ベクトルを平均化する。
そして,ステップサイズと大域的目標との関係を理論的に解析し,通信ラウンドあたりのステップサイズに関する上限を求める。
この上界に基づいて,目的を最適に近いものにするためのステップサイズを適応的に調整するアルゴリズムをサーバとクライアント向けに設計する。
最後に,プロトタイプシステムの構築による異なるデータセット,モデル,シナリオの実験を行い,FedVeca法の有効性と有効性を示す実験結果を得た。
関連論文リスト
- Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。
第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。
第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
論文 参考訳（メタデータ） (2024-08-30T09:35:36Z) - Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients [40.84399531998246]
Federated Learning (FL) は、通信ネットワークシステムにおける分散機械学習フレームワークである。
非独立分散(Non-IID)データは、大域モデルの収束効率に悪影響を及ぼす。
FLモデルの収束を加速するために,局所勾配の有利な群を選別するBHerd戦略を提案する。
論文 参考訳（メタデータ） (2024-03-25T09:16:59Z) - DRAG: Divergence-based Adaptive Aggregation in Federated learning on
Non-IID Data [11.830891255837788]
局所勾配降下(SGD)は、フェデレートラーニング(FL)におけるコミュニケーション効率向上の基本的なアプローチである
我々は,局所勾配と大域基準方向の角度を定量化する「発散度」と呼ばれる新しい計量を導入する。
本稿では,各ラウンドの参照方向に対して受信した局所的な更新を,余分な通信オーバーヘッドを伴わずに動的にドラッグする分散型アダプティブアグリゲーション(DRAG)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-04T19:40:58Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Analysis and Optimal Edge Assignment For Hierarchical Federated Learning
on Non-IID Data [43.32085029569374]
フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。
参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。
ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
論文 参考訳（メタデータ） (2020-12-10T12:18:13Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。