論文の概要: Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis
- arxiv url: http://arxiv.org/abs/2110.07567v1
- Date: Thu, 14 Oct 2021 17:35:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 16:48:53.781376
- Title: Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis
- Title（参考訳）: 不均一データを用いたリソース制約付きフェデレートエッジラーニング:定式化と解析
- Authors: Yi Liu, Yuanshao Zhu, James J.Q. Yu
- Abstract要約: ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
- 参考スコア（独自算出の注目度）: 8.863089484787835
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Efficient collaboration between collaborative machine learning and wireless
communication technology, forming a Federated Edge Learning (FEEL), has spawned
a series of next-generation intelligent applications. However, due to the
openness of network connections, the FEEL framework generally involves hundreds
of remote devices (or clients), resulting in expensive communication costs,
which is not friendly to resource-constrained FEEL. To address this issue, we
propose a distributed approximate Newton-type algorithm with fast convergence
speed to alleviate the problem of FEEL resource (in terms of communication
resources) constraints. Specifically, the proposed algorithm is improved based
on distributed L-BFGS algorithm and allows each client to approximate the
high-cost Hessian matrix by computing the low-cost Fisher matrix in a
distributed manner to find a "better" descent direction, thereby speeding up
convergence. Second, we prove that the proposed algorithm has linear
convergence in strongly convex and non-convex cases and analyze its
computational and communication complexity. Similarly, due to the heterogeneity
of the connected remote devices, FEEL faces the challenge of heterogeneous data
and non-IID (Independent and Identically Distributed) data. To this end, we
design a simple but elegant training scheme, namely FedOVA, to solve the
heterogeneous statistical challenge brought by heterogeneous data. In this way,
FedOVA first decomposes a multi-class classification problem into more
straightforward binary classification problems and then combines their
respective outputs using ensemble learning. In particular, the scheme can be
well integrated with our communication efficient algorithm to serve FEEL.
Numerical results verify the effectiveness and superiority of the proposed
algorithm.
- Abstract（参考訳）: 協調機械学習と無線通信技術による効率的なコラボレーションは、フェデレーション・エッジ・ラーニング(feel)を形成し、次世代のインテリジェント・アプリケーションを生み出した。
しかし、ネットワーク接続のオープン性のため、FEELフレームワークは一般的に数百のリモートデバイス(またはクライアント)を伴い、リソース制約のFEELには適さない高価な通信コストをもたらす。
この問題に対処するために, FEELリソースの制約(通信資源の観点から)を軽減するために, 高速収束速度を有する分散近似ニュートン型アルゴリズムを提案する。
具体的には, 分散l-bfgsアルゴリズムに基づき, 提案手法を改良し, 低コストフィッシャー行列を分散的に計算することにより, 分散l-bfgsアルゴリズムを用いて高コストヘッシアン行列を近似し, 収束を高速化する。
第二に, 提案アルゴリズムは, 強凸および非凸の場合の線形収束を証明し, その計算および通信の複雑さを解析する。
同様に、接続されたリモートデバイスの不均一性のため、FEELは異種データと非IID(独立および独立分散)データの課題に直面している。
そこで我々は,ヘテロジニアスデータによる不均質な統計的課題を解決するため,単純かつエレガントなトレーニングスキームfedovaを設計した。
このようにフェドバは、まず、多クラス分類問題をより単純な二分分類問題に分解し、その後、アンサンブル学習を用いてそれぞれの出力を結合する。
特に、このスキームは、FEELを提供するための通信効率の良いアルゴリズムとうまく統合することができる。
提案アルゴリズムの有効性と優位性を検証した。
関連論文リスト
- Joint Optimization of Resource Allocation and Data Selection for Fast and Cost-Efficient Federated Edge Learning [9.460012379815423]
FEEL(FEEL)を導入したワイヤレスエッジでの学習
本稿では,効率的なシステム,連合型共同資源割り当てとデータ選択を提案する。
共同資源配分とデータ選択という提案手法の優位性を検証した。
論文 参考訳（メタデータ） (2024-07-03T08:03:59Z) - Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。
現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。
我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。
実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
論文 参考訳（メタデータ） (2024-06-14T07:22:39Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - A Differentiable Approach to Combinatorial Optimization using Dataless
Neural Networks [20.170140039052455]
我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。
特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
論文 参考訳（メタデータ） (2022-03-15T19:21:31Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳（メタデータ） (2021-04-13T08:23:46Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳（メタデータ） (2020-12-25T07:08:50Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳（メタデータ） (2020-03-18T05:56:27Z) - Federated Matrix Factorization: Algorithm Design and Application to Data
Clustering [18.917444528804463]
データプライバシに関する近年の要求は、大規模で異種ネットワークにおける新たな分散学習パラダイムとして、フェデレートラーニング(FL)を提唱している。
我々は,モデル平均化と勾配共有原理に基づく2つの新しいFedMFアルゴリズム,すなわちFedMAvgとFedMGSを提案する。
論文 参考訳（メタデータ） (2020-02-12T11:48:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。