論文の概要: ISFL: Federated Learning for Non-i.i.d. Data with Local Importance Sampling

• arxiv url: http://arxiv.org/abs/2210.02119v3
• Date: Sun, 12 May 2024 05:49:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 02:01:31.836572
• Title: ISFL: Federated Learning for Non-i.i.d. Data with Local Importance Sampling
• Title（参考訳）: ISFL:地域重要度サンプリングによる非i.d.データのフェデレーション学習
• Authors: Zheqi Zhu, Yuchen Shi, Pingyi Fan, Chenghui Peng, Khaled B. Letaief,
• Abstract要約: 理論的保証のある明示的な枠組みであるISFLを提案する。 我々はISFLの収束定理を導出し、局所的な重要度サンプリングの効果を含む。 我々は、IS重みを計算し、ISFLアルゴリズムを開発するために、水充填法を用いる。
• 参考スコア（独自算出の注目度）: 17.29669920752378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a promising learning paradigm integrating computation and communication, federated learning (FL) proceeds the local training and the periodic sharing from distributed clients. Due to the non-i.i.d. data distribution on clients, FL model suffers from the gradient diversity, poor performance, bad convergence, etc. In this work, we aim to tackle this key issue by adopting importance sampling (IS) for local training. We propose importance sampling federated learning (ISFL), an explicit framework with theoretical guarantees. Firstly, we derive the convergence theorem of ISFL to involve the effects of local importance sampling. Then, we formulate the problem of selecting optimal IS weights and obtain the theoretical solutions. We also employ a water-filling method to calculate the IS weights and develop the ISFL algorithms. The experimental results on CIFAR-10 fit the proposed theorems well and verify that ISFL reaps better performance, sampling efficiency, as well as explainability on non-i.i.d. data. To the best of our knowledge, ISFL is the first non-i.i.d. FL solution from the local sampling aspect which exhibits theoretical compatibility with neural network models. Furthermore, as a local sampling approach, ISFL can be easily migrated into other emerging FL frameworks.
• Abstract（参考訳）: 計算とコミュニケーションを統合する有望な学習パラダイムとして、フェデレートラーニング(FL)は、分散クライアントからのローカルトレーニングと定期的な共有を進める。 クライアント上の非IDデータ分布のため、FLモデルは勾配の多様性、性能の低下、収束不良等に悩まされる。 本研究は,地域訓練に重要サンプリング(IS)を採用することで,この課題に対処することを目的とする。 理論的保証のある明示的な枠組みであるISFLを提案する。 まず、ISFLの収束定理を導出し、局所的な重要度サンプリングの効果を包含する。 そして、最適なIS重みを選択する問題を定式化し、理論解を得る。 また,IS重みを計算し,ISFLアルゴリズムを開発するために水充填法を用いる。 CIFAR-10の実験結果は、提案された定理によく適合し、ISFLがより優れた性能、サンプリング効率、および非i.d.データの説明可能性が得られることを検証した。 私たちの知る限りでは、ISFLは、ニューラルネットワークモデルとの理論的互換性を示す局所的なサンプリングの側面から、最初の非一意のFLソリューションである。 さらに、局所的なサンプリング手法として、ISFLは他の新しいFLフレームワークに容易に移行できる。

関連論文リスト

• GAI-Enabled Explainable Personalized Federated Semi-Supervised Learning [29.931169585178818]
  フェデレーテッド・ラーニング(Federated Learning, FL)は、人工知能(AI)モデルをトレーニングするモバイルユーザー(MU)のための一般的な分散アルゴリズムである。 我々は,XPFLと呼ばれるパーソナライズ可能なFLフレームワークを提案する。特にローカルトレーニングでは,生成型AI(GAI)モデルを用いて,大規模なラベルなしデータから学習する。 グローバルアグリゲーションにおいて、局所的および大域的FLモデルを特定の割合で融合することにより、新しい局所的モデルを得る。 最後に,提案したXPFLフレームワークの有効性をシミュレーションにより検証した。
  論文  参考訳（メタデータ） (2024-10-11T08:58:05Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
  Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。 本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
  論文  参考訳（メタデータ） (2024-03-19T19:05:24Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• On the Importance and Applicability of Pre-Training for Federated Learning [28.238484580662785]
  我々は,連合学習のための事前学習を体系的に研究する。 事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。 本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
  論文  参考訳（メタデータ） (2022-06-23T06:02:33Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• On-the-fly Resource-Aware Model Aggregation for Federated Learning in Heterogeneous Edge [15.932747809197517]
  エッジコンピューティングは、フレキシブルでセキュアでパフォーマンスの良い特性のおかげで、モバイルとワイヤレスネットワークの世界に革命をもたらした。 本稿では,中央集約サーバを空飛ぶマスタに置き換えるための戦略を詳細に検討する。 本研究は,EdgeAIテストベッドおよび実5Gネットワーク上で実施した測定結果から,空飛ぶマスターFLフレームワークを用いたランタイムの大幅な削減効果を示した。
  論文  参考訳（メタデータ） (2021-12-21T19:04:42Z)
• TiFL: A Tier-based Federated Learning System [17.74678728280232]
  フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。 従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。 我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
  論文  参考訳（メタデータ） (2020-01-25T01:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。