論文の概要: GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2212.01523v1
• Date: Sat, 3 Dec 2022 03:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 18:53:02.160103
• Title: GlueFL: Reconciling Client Sampling and Model Masking for Bandwidth Efficient Federated Learning
• Title（参考訳）: gluefl: 帯域効率のよい連合学習のためのクライアントサンプリングとモデルマスクの調整
• Authors: Shiqi He, Qifan Yan, Feijie Wu, Lanjun Wang, Mathias L\'ecuyer and Ivan Beschastnikh
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、マシンラーニングトレーニングにおいて、クライアントのプライバシを保護しながら、エッジデバイスを直接巻き込むテクニックである。 FL帯域幅を最適化するための既存の作業は、下流の送信を見落とし、FLクライアントのサンプリングを考慮しない。 本稿では,新しいクライアントサンプリングとモデル圧縮アルゴリズムを組み込んだフレームワークであるGlueFLを提案する。
• 参考スコア（独自算出の注目度）: 8.639666967453726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an effective technique to directly involve edge devices in machine learning training while preserving client privacy. However, the substantial communication overhead of FL makes training challenging when edge devices have limited network bandwidth. Existing work to optimize FL bandwidth overlooks downstream transmission and does not account for FL client sampling. In this paper we propose GlueFL, a framework that incorporates new client sampling and model compression algorithms to mitigate low download bandwidths of FL clients. GlueFL prioritizes recently used clients and bounds the number of changed positions in compression masks in each round. Across three popular FL datasets and three state-of-the-art strategies, GlueFL reduces downstream client bandwidth by 27% on average and reduces training time by 29% on average.
• Abstract（参考訳）: フェデレートラーニング(FL)は、マシンラーニングトレーニングにおいて、クライアントプライバシを保持しながらエッジデバイスを直接巻き込む効果的なテクニックである。 しかしながら、flの実質的な通信オーバーヘッドは、エッジデバイスがネットワーク帯域幅が限られている場合にトレーニングを困難にする。 FL帯域幅を最適化するための既存の作業は、下流の送信を見落とし、FLクライアントのサンプリングを考慮しない。 本稿では,新しいクライアントサンプリングとモデル圧縮アルゴリズムを組み込んだフレームワークであるGlueFLを提案する。 glueflは、最近使われているクライアントを優先し、各ラウンドの圧縮マスクにおける変更位置の数を制限する。 一般的なflデータセット3つと最先端戦略3つを通じて、glueflはダウンストリームクライアントの帯域幅を平均27%削減し、トレーニング時間を平均29%削減する。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples [34.576230628844506]
  我々は,textbfone-shot VFLと呼ばれる垂直連合学習(VFL)フレームワークを提案する。 提案したフレームワークでは、クライアントはサーバと一度か数回だけ通信する必要があります。 提案手法は46.5%以上の精度向上と通信コストの330$times$の削減を実現している。
  論文  参考訳（メタデータ） (2023-03-28T19:30:23Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
  フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-03-18T09:45:58Z)
• BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
  フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。 我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。 BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
  論文  参考訳（メタデータ） (2023-01-28T13:34:36Z)
• On the Design of Communication-Efficient Federated Learning for Health Monitoring [21.433739206682404]
  本稿では,クライアントクラスタリングと伝達学習を含む通信効率のよいフェデレーション学習(CEFL)フレームワークを提案する。 CEFLは従来のFLと比較して、通信コストを最大98.45%削減でき、精度損失は3%未満である。
  論文  参考訳（メタデータ） (2022-11-30T12:52:23Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。