論文の概要: ISFL: Trustworthy Federated Learning for Non-i.i.d. Data with Local Importance Sampling

• arxiv url: http://arxiv.org/abs/2210.02119v1
• Date: Wed, 5 Oct 2022 09:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 13:33:08.301912
• Title: ISFL: Trustworthy Federated Learning for Non-i.i.d. Data with Local Importance Sampling
• Title（参考訳）: ISFL:地域重要度サンプリングによる非i.d.データのための信頼できるフェデレーション学習
• Authors: Zheqi Zhu, Pingyi Fan, Chenghui Peng, and Khaled B. Letaief
• Abstract要約: 本稿では,特にニューラルネットワーク(NN)モデルと互換性のある重要サンプリングフェデレーション学習(ISFL)を提案する。 我々の知る限りでは、ISFLは、理論的なNN互換を示す局所的なサンプリングの側面から、最初の非i.d.FLソリューションである。
• 参考スコア（独自算出の注目度）: 11.806062800053699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a promising integrated computation and communication learning paradigm, federated learning (FL) carries a periodic sharing from distributed clients. Due to the non-i.i.d. data distribution on clients, FL model suffers from the gradient diversity, poor performance, bad convergence, etc. In this work, we aim to tackle this key issue by adopting data-driven importance sampling (IS) for local training. We propose a trustworthy framework, named importance sampling federated learning (ISFL), which is especially compatible with neural network (NN) models. The framework is evaluated both theoretically and experimentally. Firstly, we derive the parameter deviation bound between ISFL and the centralized full-data training to identify the main factors of the non-i.i.d. dilemmas. We will then formulate the selection of optimal IS weights as an optimization problem and obtain theoretical solutions. We also employ water-filling methods to calculate the IS weights and develop the complete ISFL algorithms. The experimental results on CIFAR-10 fit our proposed theories well and prove that ISFL reaps higher performance, as well as better convergence on non-i.i.d. data. To the best of our knowledge, ISFL is the first non-i.i.d. FL solution from the local sampling aspect which exhibits theoretical NN compatibility. Furthermore, as a local sampling approach, ISFL can be easily migrated into emerging FL frameworks.
• Abstract（参考訳）: 有望な統合計算とコミュニケーション学習のパラダイムとして、フェデレーション学習(fl)は分散クライアントから定期的に共有される。 クライアント上の非IDデータ分布のため、FLモデルは勾配の多様性、性能の低下、収束不良等に悩まされる。 本稿では,ローカルトレーニングにデータ駆動重要度サンプリング(is)を採用することで,この問題に取り組むことを目的とする。 我々は、特にニューラルネットワーク(nn)モデルと互換性のある、重要度サンプリング連合学習(isfl)という信頼できるフレームワークを提案する。 この枠組みは理論的にも実験的にも評価される。 まず,isflと集中型データトレーニングのパラメータ偏差を導出し,非i.i.d.ジレンマの主な要因を同定する。 次に最適化問題として最適is重みの選択を定式化し、理論的解を得る。 また,is重みの計算やisflアルゴリズムの開発に水充填法を適用した。 cifar-10の実験結果は,提案する理論によく適合し,isflは高い性能と非i.i.d.データへの収束性が向上することを示す。 我々の知る限りでは、ISFLは、理論的なNN互換を示す局所的なサンプリングの側面から、最初の非i.d.FLソリューションである。 さらに、ローカルサンプリングアプローチとして、isflは新たなflフレームワークに容易に移行できる。

関連論文リスト

• GAI-Enabled Explainable Personalized Federated Semi-Supervised Learning [29.931169585178818]
  フェデレーテッド・ラーニング(Federated Learning, FL)は、人工知能(AI)モデルをトレーニングするモバイルユーザー(MU)のための一般的な分散アルゴリズムである。 我々は,XPFLと呼ばれるパーソナライズ可能なFLフレームワークを提案する。特にローカルトレーニングでは,生成型AI(GAI)モデルを用いて,大規模なラベルなしデータから学習する。 グローバルアグリゲーションにおいて、局所的および大域的FLモデルを特定の割合で融合することにより、新しい局所的モデルを得る。 最後に,提案したXPFLフレームワークの有効性をシミュレーションにより検証した。
  論文  参考訳（メタデータ） (2024-10-11T08:58:05Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
  Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。 本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
  論文  参考訳（メタデータ） (2024-03-19T19:05:24Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• On the Importance and Applicability of Pre-Training for Federated Learning [28.238484580662785]
  我々は,連合学習のための事前学習を体系的に研究する。 事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。 本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
  論文  参考訳（メタデータ） (2022-06-23T06:02:33Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• On-the-fly Resource-Aware Model Aggregation for Federated Learning in Heterogeneous Edge [15.932747809197517]
  エッジコンピューティングは、フレキシブルでセキュアでパフォーマンスの良い特性のおかげで、モバイルとワイヤレスネットワークの世界に革命をもたらした。 本稿では,中央集約サーバを空飛ぶマスタに置き換えるための戦略を詳細に検討する。 本研究は,EdgeAIテストベッドおよび実5Gネットワーク上で実施した測定結果から,空飛ぶマスターFLフレームワークを用いたランタイムの大幅な削減効果を示した。
  論文  参考訳（メタデータ） (2021-12-21T19:04:42Z)
• TiFL: A Tier-based Federated Learning System [17.74678728280232]
  フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。 従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。 我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
  論文  参考訳（メタデータ） (2020-01-25T01:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。