論文の概要: Federated Learning Using Three-Operator ADMM

• arxiv url: http://arxiv.org/abs/2211.04152v1
• Date: Tue, 8 Nov 2022 10:50:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 17:31:09.143288
• Title: Federated Learning Using Three-Operator ADMM
• Title（参考訳）: 3操作ADMMを用いたフェデレーション学習
• Authors: Shashi Kant, Jos\'e Mairton B. da Silva Jr., Gabor Fodor, Bo G\"oransson, Mats Bengtsson, and Carlo Fischione
• Abstract要約: フェデレートラーニング(FL)は、ユーザの側で生成されたデータの送信を避ける。 本稿では,エッジサーバ上のスムーズなコスト関数を利用したFedTOP-ADMMを提案する。
• 参考スコア（独自算出の注目度）: 18.161200629176005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) has emerged as an instance of distributed machine learning paradigm that avoids the transmission of data generated on the users' side. Although data are not transmitted, edge devices have to deal with limited communication bandwidths, data heterogeneity, and straggler effects due to the limited computational resources of users' devices. A prominent approach to overcome such difficulties is FedADMM, which is based on the classical two-operator consensus alternating direction method of multipliers (ADMM). The common assumption of FL algorithms, including FedADMM, is that they learn a global model using data only on the users' side and not on the edge server. However, in edge learning, the server is expected to be near the base station and have direct access to rich datasets. In this paper, we argue that leveraging the rich data on the edge server is much more beneficial than utilizing only user datasets. Specifically, we show that the mere application of FL with an additional virtual user node representing the data on the edge server is inefficient. We propose FedTOP-ADMM, which generalizes FedADMM and is based on a three-operator ADMM-type technique that exploits a smooth cost function on the edge server to learn a global model parallel to the edge devices. Our numerical experiments indicate that FedTOP-ADMM has substantial gain up to 33\% in communication efficiency to reach a desired test accuracy with respect to FedADMM, including a virtual user on the edge server.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、ユーザ側で生成されたデータの送信を回避する分散機械学習パラダイムの例である。 データは送信されないが、エッジデバイスは、ユーザのデバイスの限られた計算資源のために、限られた通信帯域幅、データの均一性、およびストラグラー効果を扱う必要がある。 このような困難を克服するための顕著なアプローチはFedADMMであり、これは古典的な2演算コンセンサスによる乗算器の交互方向法(ADMM)に基づいている。 FedADMMを含むFLアルゴリズムの一般的な前提は、エッジサーバではなく、ユーザの側でデータを使用してグローバルモデルを学ぶことである。 しかし、エッジ学習では、サーバーはベースステーションの近くにあり、リッチデータセットに直接アクセスすることが期待されている。 本稿では,エッジサーバ上のリッチデータを活用することは,ユーザデータセットのみを利用するよりもずっと有益であると主張する。 具体的には,エッジサーバ上のデータを表す仮想ユーザノードの追加によるflの適用が非効率であることを示す。 我々は、FedADMMを一般化したFedTOP-ADMMを提案し、エッジサーバ上のスムーズなコスト関数を利用して、エッジデバイスと平行なグローバルモデルを学習する3演算ADMM方式の手法に基づく。 数値実験により,FedTOP-ADMMは,エッジサーバ上の仮想ユーザを含むFedADMMに対して,所望のテスト精度に到達するために,通信効率が最大33倍に向上していることが示された。

関連論文リスト

• Leveraging Federated Learning and Edge Computing for Recommendation Systems within Cloud Computing Networks [3.36271475827981]
  エッジインテリジェンスの鍵となる技術は、フェデレートラーニング(FL)として知られる、プライバシ保護機械学習パラダイムである。 ノード障害とデバイス終了を減らすため、階層的フェデレートラーニング(HFL)フレームワークが提案され、指定されたクラスタリーダが中間モデルアグリゲーションを通じてデータオーナをサポートする。 ユーザエクスペリエンスの品質(QoE)に対するソフトクリックの影響を軽減するため、著者らは、ユーザQoEを包括的なシステムコストとしてモデル化した。
  論文  参考訳（メタデータ） (2024-03-05T17:58:26Z)
• FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
  フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。 本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:11:20Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
  フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。 私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。 遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
  論文  参考訳（メタデータ） (2022-11-05T13:41:19Z)
• FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity [4.2059108111562935]
  Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。 本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。 我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T15:58:33Z)
• SemiPFL: Personalized Semi-Supervised Federated Learning Framework for Edge Intelligence [15.590672649077817]
  本稿では,ラベル付きデータセットやラベル付きデータセットが限定されていないエッジユーザを支援するための,半教師付きフェデレーション学習(SemiPFL)フレームワークを提案する。 この作業では、エッジユーザが協力してサーバ内のハイパーネットワークをトレーニングし、ユーザ毎にパーソナライズされたオートエンコーダを生成する。 エッジユーザから更新を受けた後、サーバは各ユーザに対してベースモデルのセットを生成し、ユーザが自身のラベル付きデータセットを使用してローカルに集約する。
  論文  参考訳（メタデータ） (2022-03-15T18:09:15Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• AMI-FML: A Privacy-Preserving Federated Machine Learning Framework for AMI [2.7393821783237184]
  AMI用の分散機械学習アプリケーションを開発する上で重要な課題は、アクティブなエンドユーザの参加を許可しながら、ユーザのプライバシを維持することだ。 本稿では、AMIにおけるMLアプリケーションのためのプライバシー保護フェデレーション学習フレームワークを提案する。 短期負荷予測(STLF)を改善するユースケースフェデレーションML(FML)アプリケーションに関するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T01:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。