Fugu-MT 論文翻訳(概要): Mixed Federated Learning: Joint Decentralized and Centralized Learning

論文の概要: Mixed Federated Learning: Joint Decentralized and Centralized Learning

arxiv url: http://arxiv.org/abs/2205.13655v1
Date: Thu, 26 May 2022 22:22:15 GMT
ステータス: 処理完了
システム内更新日: 2022-05-30 15:26:34.480925
Title: Mixed Federated Learning: Joint Decentralized and Centralized Learning
Title（参考訳）: Mixed Federated Learning: 共同分散型と集中型学習
Authors: Sean Augenstein, Andrew Hard, Lin Ning, Karan Singhal, Satyen Kale, Kurt Partridge, Rajiv Mathews
Abstract要約: フェデレーション学習(FL)は、分散されたプライバシに敏感なデータから学習を可能にする。本稿では,コーディネートサーバで計算された損失項を付加した混合FLを提案する。
参考スコア（独自算出の注目度）: 10.359026922702142
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) enables learning from decentralized privacy-sensitive data, with computations on raw data confined to take place at edge clients. This paper introduces mixed FL, which incorporates an additional loss term calculated at the coordinating server (while maintaining FL's private data restrictions). There are numerous benefits. For example, additional datacenter data can be leveraged to jointly learn from centralized (datacenter) and decentralized (federated) training data and better match an expected inference data distribution. Mixed FL also enables offloading some intensive computations (e.g., embedding regularization) to the server, greatly reducing communication and client computation load. For these and other mixed FL use cases, we present three algorithms: PARALLEL TRAINING, 1-WAY GRADIENT TRANSFER, and 2-WAY GRADIENT TRANSFER. We state convergence bounds for each, and give intuition on which are suited to particular mixed FL problems. Finally we perform extensive experiments on three tasks, demonstrating that mixed FL can blend training data to achieve an oracle's accuracy on an inference distribution, and can reduce communication and computation overhead by over 90%. Our experiments confirm theoretical predictions of how algorithms perform under different mixed FL problem settings.
Abstract（参考訳）: フェデレートラーニング(FL)は、エッジクライアントでのみ実行される生データの計算によって、分散プライバシに敏感なデータから学習を可能にする。本稿では,コーディネートサーバで計算される損失項(flのプライベートデータ制限を維持しながら)を付加した混合flを提案する。多くの利点がある。例えば、データセンターのデータを追加することで、集中型(データセンタ)と分散型(フェデレーション)のトレーニングデータから学習し、期待するデータ分布に合致することができる。混合FLはまた、サーバへの集中的な計算(例えば、正規化の埋め込み)のオフロードを可能にし、通信とクライアントの計算負荷を大幅に削減する。これらと他の混合FL使用例に対して, PARALLEL TRAINING, 1-WAY GRADIENTTRAFER, 2-WAY GRADIENTTRAFERの3つのアルゴリズムを提案する。我々はそれぞれ収束境界を記入し、特定の混合FL問題に適した直観を与える。最後に,3つのタスクについて広範な実験を行い,混合flが推論分布上でoracleの精度を達成するためにトレーニングデータをブレンドし,通信と計算のオーバーヘッドを90%以上削減できることを実証した。実験では,異なる混合FL条件下でのアルゴリズムの動作に関する理論的予測を確認した。

関連論文リスト

A Framework for testing Federated Learning algorithms using an edge-like environment [0.0]
フェデレーテッド・ラーニング(FL)は、多くのクライアントが、データをプライベートかつ分散化しながら、単一の集中型モデルを協調的にトレーニングする機械学習パラダイムである。グローバル集中型モデルアグリゲーションにおける局所モデルの貢献を正確に評価するのは簡単ではない。これはFLにおける大きな挑戦の例であり、一般にデータ不均衡またはクラス不均衡として知られている。本研究では,FLアルゴリズムをより容易かつスケーラブルに評価するためのフレームワークを提案し,実装した。
論文参考訳（メタデータ） (2024-07-17T19:52:53Z)
Federated Learning with Reduced Information Leakage and Computation [17.069452700698047]
フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。本稿では,モデル更新毎に一階近似を適用する手法であるUpcycled-FLを紹介する。この戦略の下では、FL更新の半分は情報漏洩を伴わず、計算と送信のコストを大幅に削減する。
論文参考訳（メタデータ） (2023-10-10T06:22:06Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文参考訳（メタデータ） (2022-10-16T06:44:46Z)
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文参考訳（メタデータ） (2022-09-10T05:20:31Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Sample Selection with Deadline Control for Efficient Federated Learning on Heterogeneous Clients [8.350621280672891]
Federated Learning (FL)は、個々のデータを公開せずに、分散クライアント上で機械学習モデルをトレーニングする。クライアントのトレーニングサンプルを積極的に選択する体系的なFLフレームワークであるFedBalancerを提案する。モデル精度を1.03.3%向上させながら,FedBalancerは1.224.62倍の精度向上を実現した。
論文参考訳（メタデータ） (2022-01-05T13:35:35Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)
Improving Accuracy of Federated Learning in Non-IID Settings [11.908715869667445]
Federated Learning(FL)は、データを共有することなく、参加するエージェントのセットが協力してモデルをトレーニングできる、分散機械学習プロトコルである。 FLの性能はエージェントの局所的なデータ分布と密接に関連していることが観察されている。本研究では,FLに付加的な通信オーバーヘッドを発生させることなく,訓練されたモデルの性能を向上させるための4つの簡単な手法を同定する。
論文参考訳（メタデータ） (2020-10-14T21:02:14Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。