論文の概要: FedEval: A Benchmark System with a Comprehensive Evaluation Model for Federated Learning

• arxiv url: http://arxiv.org/abs/2011.09655v2
• Date: Wed, 25 Nov 2020 16:08:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 22:01:11.719882
• Title: FedEval: A Benchmark System with a Comprehensive Evaluation Model for Federated Learning
• Title（参考訳）: FedEval: フェデレーション学習のための総合評価モデルを備えたベンチマークシステム
• Authors: Di Chai and Leye Wang and Kai Chen and Qiang Yang
• Abstract要約: 本稿では,フェデレートラーニング(FL)システムに対する総合的な評価フレームワークを提案する。 まず、精度、コミュニケーション、時間効率、プライバシ、ロバストネスなど、FL評価において除外できない5つの指標を定義するACTPRモデルを紹介します。 次に、最も広く使われている2つのFLメカニズムであるFedSGDとFedAvgの詳細なベンチマーク調査を行う。
• 参考スコア（独自算出の注目度）: 17.680627081257246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an innovative solution for privacy-preserving machine learning (ML), federated learning (FL) is attracting much attention from research and industry areas. While new technologies proposed in the past few years do evolve the FL area, unfortunately, the evaluation results presented in these works fall short in integrity and are hardly comparable because of the inconsistent evaluation metrics and the lack of a common platform. In this paper, we propose a comprehensive evaluation framework for FL systems. Specifically, we first introduce the ACTPR model, which defines five metrics that cannot be excluded in FL evaluation, including Accuracy, Communication, Time efficiency, Privacy, and Robustness. Then we design and implement a benchmarking system called FedEval, which enables the systematic evaluation and comparison of existing works under consistent experimental conditions. We then provide an in-depth benchmarking study between the two most widely-used FL mechanisms, FedSGD and FedAvg. The benchmarking results show that FedSGD and FedAvg both have advantages and disadvantages under the ACTPR model. For example, FedSGD is barely influenced by the none independent and identically distributed (non-IID) data problem, but FedAvg suffers from a decline in accuracy of up to 9% in our experiments. On the other hand, FedAvg is more efficient than FedSGD regarding time consumption and communication. Lastly, we excavate a set of take-away conclusions, which are very helpful for researchers in the FL area.
• Abstract（参考訳）: プライバシ保護機械学習(ML)の革新的なソリューションとして、フェデレーション学習(FL)は研究や産業分野から注目を集めている。 過去数年間に提案された新しい技術はFL領域を進化させてきたが、残念なことにこれらの研究で示された評価結果は整合性に乏しく、不整合性評価指標と共通プラットフォームが欠如しているため、ほぼ同等ではない。 本稿では,flシステムのための包括的評価フレームワークを提案する。 具体的には、まずACTPRモデルを紹介し、正確性、コミュニケーション、時間効率、プライバシー、ロバストネスなどのFL評価では除外できない5つの指標を定義します。 次に,既存の作品を一貫した実験条件下で体系的に評価・比較できるベンチマークシステムfedevalを設計・実装する。 次に、最も広く使われている2つのflメカニズムであるfeedsgdとfedavg間の詳細なベンチマーク研究を行う。 ベンチマークの結果,fesgd と fedavg はともに actpr モデル下での利点とデメリットを持っていることがわかった。 例えば、FedSGDは独立で同一に分散された(非IID)データ問題の影響を受けていないが、FedAvgは実験で最大9%の精度の低下に悩まされている。 一方、FedAvgは時間消費と通信に関してFedSGDよりも効率的である。 最後に,FL領域の研究者にとって非常に有益であるテイクアウト結論の集合を発掘する。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• FedAD-Bench: A Unified Benchmark for Federated Unsupervised Anomaly Detection in Tabular Data [11.42231457116486]
  FedAD-Benchは、フェデレート学習の文脈における教師なし異常検出アルゴリズムを評価するためのベンチマークである。 モデル集約の非効率性やメトリクスの不確実性といった重要な課題を特定します。 本研究は,フェデレートされた異常検出における今後の研究・開発を導くための標準化されたベンチマークを確立することを目的としている。
  論文  参考訳（メタデータ） (2024-08-08T13:14:19Z)
• FedVal: Different good or different bad in federated learning [9.558549875692808]
  フェデレート・ラーニング(FL)システムは悪意のあるアクターからの攻撃を受けやすい。 FLは、異なる人口集団の公正なパフォーマンスを保証するなど、グループの偏見に対処する上で、新たな課題を提起する。 このようなバイアスに対処するために使用される従来の方法は、FLシステムが持っていないデータへの集中的なアクセスを必要とする。 我々は、クライアントからの追加情報を必要としない堅牢性と公正性の両方に対して、新しいアプローチであるFedValを提案する。
  論文  参考訳（メタデータ） (2023-06-06T22:11:13Z)
• Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
  本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。 我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。 提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T11:46:34Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• FedPrune: Towards Inclusive Federated Learning [1.308951527147782]
  フェデレートラーニング(Federated Learning, FL)は、分散データの共有モデルをプライバシ保護形式でトレーニングする分散学習技術である。 我々は,この課題に対処するシステムであるFedPruneを提案する。 Central Limit Theoremからの洞察を利用することで、FedPruneは非IIDデータよりも堅牢なパフォーマンスを実現する新しい集約テクニックを取り入れている。
  論文  参考訳（メタデータ） (2021-10-27T06:33:38Z)
• FedScale: Benchmarking Model and System Performance of Federated Learning [4.1617240682257925]
  FedScaleは、連邦学習(FL)研究のための、挑戦的で現実的なベンチマークデータセットのセットである。 FedScaleはオープンソースで、寛容なライセンスを持ち、積極的にメンテナンスされている。
  論文  参考訳（メタデータ） (2021-05-24T15:55:27Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。