Fugu-MT 論文翻訳(概要): Weight Divergence Driven Divide-and-Conquer Approach for Optimal Federated Learning from non-IID Data

論文の概要: Weight Divergence Driven Divide-and-Conquer Approach for Optimal Federated Learning from non-IID Data

arxiv url: http://arxiv.org/abs/2106.14503v1
Date: Mon, 28 Jun 2021 09:34:20 GMT
ステータス: 処理完了
システム内更新日: 2021-06-29 21:19:45.367858
Title: Weight Divergence Driven Divide-and-Conquer Approach for Optimal Federated Learning from non-IID Data
Title（参考訳）: 非IIDデータからの最適フェデレーション学習のための重み付きダイバージェンス・ディバイド・アンド・コンカレントアプローチ
Authors: Pravin Chandran, Raghavendra Bhat, Avinash Chakravarthi, Srikanth Chandar
Abstract要約: Federated Learningは、トレーニングデータを集中化することなく、分散デバイスに格納されたデータのトレーニングを可能にする。本稿では,一般的なFedAvgアグリゲーションアルゴリズムの活用を可能にする,新しいDivide-and-Conquerトレーニング手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning allows training of data stored in distributed devices without the need for centralizing training data, thereby maintaining data privacy. Addressing the ability to handle data heterogeneity (non-identical and independent distribution or non-IID) is a key enabler for the wider deployment of Federated Learning. In this paper, we propose a novel Divide-and-Conquer training methodology that enables the use of the popular FedAvg aggregation algorithm by overcoming the acknowledged FedAvg limitations in non-IID environments. We propose a novel use of Cosine-distance based Weight Divergence metric to determine the exact point where a Deep Learning network can be divided into class agnostic initial layers and class-specific deep layers for performing a Divide and Conquer training. We show that the methodology achieves trained model accuracy at par (and in certain cases exceeding) with numbers achieved by state-of-the-art Aggregation algorithms like FedProx, FedMA, etc. Also, we show that this methodology leads to compute and bandwidth optimizations under certain documented conditions.
Abstract（参考訳）: Federated Learningは、トレーニングデータを集中化することなく、分散デバイスに格納されたデータのトレーニングを可能にする。データの不均一性(非識別および独立分布または非iid)を扱う能力に対処することは、連合学習を広く展開するための鍵となる。本稿では,非IID環境におけるFedAvg制限を克服し,一般的なFedAvgアグリゲーションアルゴリズムの利用を可能にする新しいDivide-and-Conquerトレーニング手法を提案する。そこで本研究では,深層学習ネットワークをクラス非依存な初期層とクラス特異的深層に分けて分割・克服訓練を行うための,コサイン距離に基づく重み分岐量測定法を提案する。この手法は,feedprox,feedmaなどの最先端集約アルゴリズムによって達成された数値と同等(場合によっては超過)に訓練されたモデル精度を達成していることを示す。また,本手法が特定の文書化条件下での計算と帯域幅の最適化につながることを示す。

関連論文リスト

Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach [2.5477011559292175]
フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-29T16:46:50Z)
Federated K-Means Clustering via Dual Decomposition-based Distributed Optimization [0.0]
本稿では,$Kのクラスタリング問題に対する分散トレーニングに双対分解を適用する方法について述べる。トレーニングは、異なるノードにデータを分割し、コンセンサス制約を通じてこれらのノードをリンクすることで、分散的に行うことができる。
論文参考訳（メタデータ） (2023-07-25T05:34:50Z)
Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
論文参考訳（メタデータ） (2023-07-13T08:36:15Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
Robustness and Personalization in Federated Learning: A Unified Approach via Regularization [4.7234844467506605]
我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。 Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
論文参考訳（メタデータ） (2020-09-14T10:04:30Z)
Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文参考訳（メタデータ） (2020-07-07T18:25:25Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。