論文の概要: A study on performance limitations in Federated Learning

• arxiv url: http://arxiv.org/abs/2501.03477v1
• Date: Tue, 07 Jan 2025 02:35:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:47:05.556472
• Title: A study on performance limitations in Federated Learning
• Title（参考訳）: フェデレートラーニングにおける性能限界に関する研究
• Authors: Karthik Mohan,
• Abstract要約: 本研究は, 通信ボトルネックとデータ非ID性に着目し, モデルの性能に与える影響について検討する。 Googleは2016年にフェデレートラーニングを導入した。 このプロジェクトは、通信ボトルネックとデータ非ID性、およびモデルの性能への影響に焦点を当てる。
• 参考スコア（独自算出の注目度）: 0.05439020425819
• License:
• Abstract: Increasing privacy concerns and unrestricted access to data lead to the development of a novel machine learning paradigm called Federated Learning (FL). FL borrows many of the ideas from distributed machine learning, however, the challenges associated with federated learning makes it an interesting engineering problem since the models are trained on edge devices. It was introduced in 2016 by Google, and since then active research is being carried out in different areas within FL such as federated optimization algorithms, model and update compression, differential privacy, robustness, and attacks, federated GANs and privacy preserved personalization. There are many open challenges in the development of such federated machine learning systems and this project will be focusing on the communication bottleneck and data Non IID-ness, and its effect on the performance of the models. These issues are characterized on a baseline model, model performance is evaluated, and discussions are made to overcome these issues.
• Abstract（参考訳）: プライバシの懸念とデータへの無制限アクセスの増加は、フェデレートラーニング(FL)と呼ばれる新しい機械学習パラダイムの開発につながる。 FLは分散機械学習から多くのアイデアを借用しているが、フェデレートラーニングに関連する課題は、エッジデバイスでモデルがトレーニングされているため、興味深いエンジニアリング上の問題となっている。 2016年にGoogleによって導入され、それ以来、フェデレーション最適化アルゴリズム、モデルと更新圧縮、差分プライバシー、堅牢性、攻撃、フェデレーションされたGAN、プライバシ保存されたパーソナライゼーションなど、FL内のさまざまな領域で活発な研究が実施されている。 このようなフェデレートされた機械学習システムの開発には多くのオープンな課題があり、このプロジェクトでは、通信ボトルネックとデータIID-nessとそのモデルの性能への影響に焦点を当てる予定である。 これらの問題はベースラインモデルに基づいて特徴づけられ、モデル性能が評価され、これらの問題を克服するための議論がなされる。

関連論文リスト

• Ten Challenging Problems in Federated Foundation Models [55.343738234307544]
  フェデレーション・ファンデーション・モデル(Federated Foundation Models、FedFM)は、フェデレーション・モデルの一般的な能力とフェデレーション・ラーニングのプライバシー保護能力を融合させる分散学習パラダイムである。 本稿では,FedFMに固有の10の課題について,基礎理論,プライベートデータの利用,継続学習,非学習,非IIDおよびグラフデータ,双方向知識伝達,インセンティブ機構設計,ゲーム機構設計,モデル透かし,効率を包括的に要約する。
  論文  参考訳（メタデータ） (2025-02-14T04:01:15Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• A Comprehensive Study on Model Initialization Techniques Ensuring Efficient Federated Learning [0.0]
  フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。 モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。 本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
  論文  参考訳（メタデータ） (2023-10-31T23:26:58Z)
• FRAMU: Attention-based Machine Unlearning using Federated Reinforcement Learning [16.86560475992975]
  FRAMU(Federated Reinforcement Learning)を用いた注意型機械学習について紹介する。 FRAMUには適応学習機構、プライバシー保護技術、最適化戦略が組み込まれている。 実験の結果,FRAMUはベースラインモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-19T03:13:17Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Applied Federated Learning: Architectural Design for Robust and Efficient Learning in Privacy Aware Settings [0.8454446648908585]
  古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。 データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。 差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
  論文  参考訳（メタデータ） (2022-06-02T00:30:04Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Concept drift detection and adaptation for federated and continual learning [55.41644538483948]
  スマートデバイスは環境から大量のデータを収集することができる。 このデータは機械学習モデルのトレーニングに適しており、その振る舞いを大幅に改善することができる。 そこで本研究では,Concept-Drift-Aware Federated Averagingと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T17:01:58Z)
• Federated Learning: A Signal Processing Perspective [144.63726413692876]
  フェデレーションラーニングは、データを明示的に交換することなく、ローカルデータセットを保持する複数のエッジデバイスでモデルをトレーニングするための新しい機械学習パラダイムです。 本稿では、信号処理ツールを用いて扱うのが自然である主な課題をカプセル化し、強調する、連合学習のための統一的な体系的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-03-31T15:14:39Z)
• Federated Edge Learning : Design Issues and Challenges [1.916348196696894]
  Federated Learning(FL)は分散機械学習技術であり、各デバイスはそのローカルトレーニングデータに基づいて勾配を独立に計算することで学習モデルに寄与する。 FLをネットワークエッジに実装することは、システムとデータの不均一性とリソースの制約のために難しい。 本稿では、今後の研究方向性の指針として、データ認識スケジューリングのための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-31T19:56:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。