論文の概要: A Survey for Federated Learning Evaluations: Goals and Measures
- arxiv url: http://arxiv.org/abs/2308.11841v1
- Date: Wed, 23 Aug 2023 00:17:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 16:17:24.619847
- Title: A Survey for Federated Learning Evaluations: Goals and Measures
- Title(参考訳): 連合学習の評価に関する調査 : 目標と対策
- Authors: Di Chai, Leye Wang, Liu Yang, Junxue Zhang, Kai Chen, and Qiang Yang
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、プライバシ保護機械学習のための新しいパラダイムである。
FLの評価は、その学際的な性質と、実用性、効率性、セキュリティといった様々な目標のために難しい。
我々はFLアルゴリズムの標準化された総合的な評価フレームワークを提供するオープンソースプラットフォームであるFedEvalを紹介した。
- 参考スコア(独自算出の注目度): 26.120949005265345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluation is a systematic approach to assessing how well a system achieves
its intended purpose. Federated learning (FL) is a novel paradigm for
privacy-preserving machine learning that allows multiple parties to
collaboratively train models without sharing sensitive data. However,
evaluating FL is challenging due to its interdisciplinary nature and diverse
goals, such as utility, efficiency, and security. In this survey, we first
review the major evaluation goals adopted in the existing studies and then
explore the evaluation metrics used for each goal. We also introduce FedEval,
an open-source platform that provides a standardized and comprehensive
evaluation framework for FL algorithms in terms of their utility, efficiency,
and security. Finally, we discuss several challenges and future research
directions for FL evaluation.
- Abstract(参考訳): 評価は、システムが意図した目的を達成する方法を評価するための体系的なアプローチである。
Federated Learning(FL)は、プライバシ保護機械学習のための新しいパラダイムであり、複数のパーティが機密データを共有せずにモデルを協調的にトレーニングすることができる。
しかしながら、flの評価は、その学際的な性質と、実用性、効率性、セキュリティといった多様な目標のために困難である。
本調査ではまず,既存の研究で採用されている主要な評価目標について概観し,その評価指標について検討する。
また,flアルゴリズムの実用性,効率性,セキュリティの観点から,標準化され包括的な評価フレームワークを提供するオープンソースプラットフォームであるfedevalも紹介する。
最後に,FL評価の課題と今後の研究方向性について述べる。
関連論文リスト
- F-Eval: Asssessing Fundamental Abilities with Refined Evaluation Methods [111.46455901113976]
F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。
参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
論文 参考訳(メタデータ) (2024-01-26T13:55:32Z) - MR-GSM8K: A Meta-Reasoning Revolution in Large Language Model Evaluation [65.07691494584843]
本稿では,メタ推論への取り組みに挑戦する,大規模言語モデルのための新しい評価パラダイムを提案する。
このアプローチは、エージェントの認知能力を評価するために伝統的に用いられてきた既存の数学問題解決ベンチマークにおける重大な欠点に対処する。
論文 参考訳(メタデータ) (2023-12-28T15:49:43Z) - A Survey of Federated Unlearning: A Taxonomy, Challenges and Future
Directions [71.16718184611673]
プライバシ保護のためのフェデレートラーニング(FL)の進化により、忘れられる権利を実装する必要性が高まっている。
選択的な忘れ方の実装は、その分散した性質のため、FLでは特に困難である。
Federated Unlearning(FU)は、データプライバシの必要性の増加に対応する戦略的ソリューションとして登場した。
論文 参考訳(メタデータ) (2023-10-30T01:34:33Z) - Trustworthy Federated Learning: A Survey [0.5089078998562185]
人工知能(AI)分野において、フェデレートラーニング(FL)が大きな進歩を遂げている。
我々は、Trustworthy FLの現状を概観し、既存のソリューションとTrustworthyに関連する明確に定義された柱を探求する。
本稿では,解釈可能性,公正性,セキュリティとプライバシの3つの柱を含む分類法を提案する。
論文 参考訳(メタデータ) (2023-05-19T09:11:26Z) - A Survey of Federated Evaluation in Federated Learning [30.56651008584592]
従来の機械学習では、すべてのデータサンプルがサーバによって中央管理されているため、モデル評価を行うのは簡単ではない。
これは、クライアントがデータプライバシを保存するために元のデータを公開しないためです。
統合評価は、クライアントの選択、インセンティブメカニズムの設計、悪意のある攻撃検出などにおいて重要な役割を果たす。
論文 参考訳(メタデータ) (2023-05-14T04:55:13Z) - A Domain-Agnostic Approach for Characterization of Lifelong Learning
Systems [128.63953314853327]
「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。
この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
論文 参考訳(メタデータ) (2023-01-18T21:58:54Z) - Data Valuation for Vertical Federated Learning: A Model-free and
Privacy-preserving Method [14.451118953357605]
FedValueは、VFL(Vertical Federated Learning)のためのプライバシ保護、タスク固有、モデルフリーなデータ評価手法である。
まず,機械学習モデルを実行する必要なく,予測分析タスクへのデータパーティの貢献を評価する。
次に、プライバシ保存方式で各データパーティのMShapley-CMI値を算出する革新的なフェデレーション手法を開発する。
論文 参考訳(メタデータ) (2021-12-15T02:42:28Z) - FedScale: Benchmarking Model and System Performance of Federated
Learning [4.1617240682257925]
FedScaleは、連邦学習(FL)研究のための、挑戦的で現実的なベンチマークデータセットのセットである。
FedScaleはオープンソースで、寛容なライセンスを持ち、積極的にメンテナンスされている。
論文 参考訳(メタデータ) (2021-05-24T15:55:27Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - FedEval: A Benchmark System with a Comprehensive Evaluation Model for
Federated Learning [17.680627081257246]
本稿では,フェデレートラーニング(FL)システムに対する総合的な評価フレームワークを提案する。
まず、精度、コミュニケーション、時間効率、プライバシ、ロバストネスなど、FL評価において除外できない5つの指標を定義するACTPRモデルを紹介します。
次に、最も広く使われている2つのFLメカニズムであるFedSGDとFedAvgの詳細なベンチマーク調査を行う。
論文 参考訳(メタデータ) (2020-11-19T04:59:51Z) - Interpretable Off-Policy Evaluation in Reinforcement Learning by
Highlighting Influential Transitions [48.91284724066349]
強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。
信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。
我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
論文 参考訳(メタデータ) (2020-02-10T00:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。