論文の概要: Benchmarking FedAvg and FedCurv for Image Classification Tasks
- arxiv url: http://arxiv.org/abs/2303.17942v1
- Date: Fri, 31 Mar 2023 10:13:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 14:33:40.270061
- Title: Benchmarking FedAvg and FedCurv for Image Classification Tasks
- Title（参考訳）: 画像分類タスクのためのFedAvgとFedCurvのベンチマーク
- Authors: Bruno Casella, Roberto Esposito, Carlo Cavazzoni, Marco Aldinucci
- Abstract要約: 本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
- 参考スコア（独自算出の注目度）: 1.376408511310322
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classic Machine Learning techniques require training on data available in a
single data lake. However, aggregating data from different owners is not always
convenient for different reasons, including security, privacy and secrecy. Data
carry a value that might vanish when shared with others; the ability to avoid
sharing the data enables industrial applications where security and privacy are
of paramount importance, making it possible to train global models by
implementing only local policies which can be run independently and even on
air-gapped data centres. Federated Learning (FL) is a distributed machine
learning approach which has emerged as an effective way to address privacy
concerns by only sharing local AI models while keeping the data decentralized.
Two critical challenges of Federated Learning are managing the heterogeneous
systems in the same federated network and dealing with real data, which are
often not independently and identically distributed (non-IID) among the
clients. In this paper, we focus on the second problem, i.e., the problem of
statistical heterogeneity of the data in the same federated network. In this
setting, local models might be strayed far from the local optimum of the
complete dataset, thus possibly hindering the convergence of the federated
model. Several Federated Learning algorithms, such as FedAvg, FedProx and
Federated Curvature (FedCurv), aiming at tackling the non-IID setting, have
already been proposed. This work provides an empirical assessment of the
behaviour of FedAvg and FedCurv in common non-IID scenarios. Results show that
the number of epochs per round is an important hyper-parameter that, when tuned
appropriately, can lead to significant performance gains while reducing the
communication cost. As a side product of this work, we release the non-IID
version of the datasets we used so to facilitate further comparisons from the
FL community.
- Abstract（参考訳）: 古典的な機械学習技術は、単一のデータレイクで利用可能なデータのトレーニングを必要とする。
しかし、異なる所有者からのデータ集約は、セキュリティやプライバシ、機密性など、さまざまな理由で必ずしも便利ではない。
データの共有を避けることは、セキュリティとプライバシが最重要事項である産業アプリケーションを可能にするため、独立して実行できるローカルポリシや、空調されたデータセンタでも実行できるローカルポリシのみを実装することで、グローバルモデルをトレーニングすることが可能になる。
Federated Learning(FL)は、データを分散化しながらローカルAIモデルを共有することで、プライバシー問題に対処する効果的な方法として、分散機械学習アプローチである。
フェデレーション学習の2つの重要な課題は、同一のフェデレーションネットワーク内の異種システムを管理し、実データを扱うことだ。
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題である第2の問題に注目する。
この設定では、局所モデルは完全なデータセットの局所的最適から遠く離れており、したがって連合モデルの収束を妨げる可能性がある。
FedAvg、FedProx、Federated Curvature(FedCurv)など、非IID設定に対処するためのフェデレート学習アルゴリズムがすでに提案されている。
この研究は、一般的な非IIDシナリオにおけるFedAvgとFedCurvの振る舞いを実証的に評価する。
その結果, ラウンド毎のエポック数は, 適切な調整を行うと通信コストを低減しつつ, 大幅な性能向上につながることが示唆された。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
関連論文リスト
- CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。
中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。
本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
論文 参考訳（メタデータ） (2024-07-17T03:17:53Z) - StatAvg: Mitigating Data Heterogeneity in Federated Learning for Intrusion Detection Systems [22.259297167311964]
フェデレートラーニング(FL)は、デバイスが生データを第三者に公開することなく、共同で機械学習(ML)またはディープラーニング(DL)モデルを構築することができる分散学習技術である。
プライバシー保護の性質から、FLはサイバーセキュリティの領域内で侵入検知システム(IDS)を構築するために広く注目を集めている。
FLにおけるローカルクライアントのデータ間で,非独立かつ同一の(非ID)分散機能を緩和する,統計的平均化(StatAvg)と呼ばれる有効な手法を提案する。
論文 参考訳（メタデータ） (2024-05-20T14:41:59Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳（メタデータ） (2023-12-10T07:38:56Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - Federated Learning in Non-IID Settings Aided by Differentially Private
Synthetic Data [20.757477553095637]
Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。
連合学習における大きな課題は、局所データが不均一であるときに生じる。
我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
論文 参考訳（メタデータ） (2022-06-01T18:00:48Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。
本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。
PENSは強力なベースラインに比べて高い精度を達成することができる。
論文 参考訳（メタデータ） (2021-07-18T19:05:44Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳（メタデータ） (2021-07-01T06:14:51Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。