論文の概要: FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms
for Federated Learning
- arxiv url: http://arxiv.org/abs/2310.07807v1
- Date: Wed, 11 Oct 2023 18:39:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 14:12:49.348447
- Title: FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms
for Federated Learning
- Title（参考訳）: FedSym: フェデレートラーニングのアルゴリズムをベンチマークするためのエントロピーのパワーを解放する
- Authors: Ensiye Kiyamousavi, Boris Kraychev, Ivan Koychev
- Abstract要約: Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。
現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。
エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
- 参考スコア（独自算出の注目度）: 1.4656078321003647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a decentralized machine learning approach where
independent learners process data privately. Its goal is to create a robust and
accurate model by aggregating and retraining local models over multiple rounds.
However, FL faces challenges regarding data heterogeneity and model aggregation
effectiveness. In order to simulate real-world data, researchers use methods
for data partitioning that transform a dataset designated for centralized
learning into a group of sub-datasets suitable for distributed machine learning
with different data heterogeneity. In this paper, we study the currently
popular data partitioning techniques and visualize their main disadvantages:
the lack of precision in the data diversity, which leads to unreliable
heterogeneity indexes, and the inability to incrementally challenge the FL
algorithms. To resolve this problem, we propose a method that leverages entropy
and symmetry to construct 'the most challenging' and controllable data
distributions with gradual difficulty. We introduce a metric to measure data
heterogeneity among the learning agents and a transformation technique that
divides any dataset into splits with precise data diversity. Through a
comparative study, we demonstrate the superiority of our method over existing
FL data partitioning approaches, showcasing its potential to challenge model
aggregation algorithms. Experimental results indicate that our approach
gradually challenges the FL strategies, and the models trained on FedSym
distributions are more distinct.
- Abstract（参考訳）: Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。
その目標は、複数のラウンドでローカルモデルを集約し、再トレーニングすることで、堅牢で正確なモデルを作ることだ。
しかし、FLはデータ不均一性とモデル集約の有効性に関する課題に直面している。
実世界のデータをシミュレートするために、研究者は、集中型学習に指定されたデータセットを、異なるデータ多様性を持つ分散機械学習に適したサブデータセットのグループに変換するデータパーティショニングの方法を使用する。
本稿では,現在普及しているデータ分割手法を調査し,その主な欠点を可視化する。データ多様性における精度の欠如,不確実性指標の欠如,flアルゴリズムへの漸進的挑戦の欠如である。
この問題を解決するために,エントロピーと対称性を利用して,段階的困難を伴う「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
学習エージェント間のデータの不均一性を測定するためのメトリクスと、データセットを正確なデータ多様性で分割する変換技術を導入する。
比較研究を通じて,既存のflデータ分割手法よりも優れた手法を示し,モデル集約アルゴリズムへの挑戦の可能性を示す。
実験結果から,本手法はfl戦略に徐々に挑戦し,feedsym分布を訓練したモデルがより異なることが示唆された。
関連論文リスト
- Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。
フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。
本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-10T04:03:09Z) - Federated scientific machine learning for approximating functions and solving differential equations with data heterogeneity [2.4442398425025416]
本稿では、複素関数を近似し微分方程式を解くためのFLとSciMLの統合について検討する。
非独立かつ同一に分散したデータ(非ID)の度合いを制御できる様々なデータ生成手法を提案する。
提案手法の有効性を実証するため,FedPINN上のPDE問題2,FedDeepONet上でのPDE問題5,PDE問題3の10実験を行った。
論文 参考訳（メタデータ） (2024-10-17T01:57:04Z) - Algorithms for Collaborative Machine Learning under Statistical Heterogeneity [1.8130068086063336]
フェデレーション学習は、現在、異種データ所有者間で機械学習モデルをトレーニングするデファクトスタンダードである。
この論文では、三つの主要な要因が出発点(textitパラメータ、textitmixing coefficient、textitlocal data distributions)とみなすことができる。
論文 参考訳（メタデータ） (2024-07-31T16:32:34Z) - A review on different techniques used to combat the non-IID and
heterogeneous nature of data in FL [0.0]
Federated Learning(FL)は、複数のエッジデバイス間で協調的なモデルトレーニングを可能にする機械学習アプローチである。
FLの重要性は、医療や金融などの業界で特に顕著であり、データのプライバシが最重要視されている。
この報告は、非IIDおよび異種データから生じる問題を掘り下げ、これらの課題に対処するために設計された現在のアルゴリズムを探求する。
論文 参考訳（メタデータ） (2024-01-01T16:34:00Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Mitigating Bias in Federated Learning [9.295028968787351]
本稿では,フェデレートラーニング(FL)におけるバイアスの原因について議論する。
データプライバシを損なうことなく、バイアスを軽減するために、前処理と内処理の3つの方法を提案する。
我々は、モデル性能、公平度メトリクス、バイアス学習パターンに対する影響を分析するために、複数のデータ分布に対して実験を行う。
論文 参考訳（メタデータ） (2020-12-04T08:04:12Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。