論文の概要: A Survey for Federated Learning Evaluations: Goals and Measures

• arxiv url: http://arxiv.org/abs/2308.11841v1
• Date: Wed, 23 Aug 2023 00:17:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 16:17:24.619847
• Title: A Survey for Federated Learning Evaluations: Goals and Measures
• Title（参考訳）: 連合学習の評価に関する調査 : 目標と対策
• Authors: Di Chai, Leye Wang, Liu Yang, Junxue Zhang, Kai Chen, and Qiang Yang
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、プライバシ保護機械学習のための新しいパラダイムである。 FLの評価は、その学際的な性質と、実用性、効率性、セキュリティといった様々な目標のために難しい。 我々はFLアルゴリズムの標準化された総合的な評価フレームワークを提供するオープンソースプラットフォームであるFedEvalを紹介した。
• 参考スコア（独自算出の注目度）: 26.120949005265345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation is a systematic approach to assessing how well a system achieves its intended purpose. Federated learning (FL) is a novel paradigm for privacy-preserving machine learning that allows multiple parties to collaboratively train models without sharing sensitive data. However, evaluating FL is challenging due to its interdisciplinary nature and diverse goals, such as utility, efficiency, and security. In this survey, we first review the major evaluation goals adopted in the existing studies and then explore the evaluation metrics used for each goal. We also introduce FedEval, an open-source platform that provides a standardized and comprehensive evaluation framework for FL algorithms in terms of their utility, efficiency, and security. Finally, we discuss several challenges and future research directions for FL evaluation.
• Abstract（参考訳）: 評価は、システムが意図した目的を達成する方法を評価するための体系的なアプローチである。 Federated Learning(FL)は、プライバシ保護機械学習のための新しいパラダイムであり、複数のパーティが機密データを共有せずにモデルを協調的にトレーニングすることができる。 しかしながら、flの評価は、その学際的な性質と、実用性、効率性、セキュリティといった多様な目標のために困難である。 本調査ではまず,既存の研究で採用されている主要な評価目標について概観し,その評価指標について検討する。 また,flアルゴリズムの実用性,効率性,セキュリティの観点から,標準化され包括的な評価フレームワークを提供するオープンソースプラットフォームであるfedevalも紹介する。 最後に,FL評価の課題と今後の研究方向性について述べる。

関連論文リスト

• FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses [50.921333548391345]
  フェデレーテッド・ラーニング(Federated Learning)は、分散型機械学習パラダイムをプライバシ保護するものだ。 近年の研究では、Deep Leakageと呼ばれる勾配技術によって、民間の真実データを復元できることが判明している。 本稿では、Deep Leakage攻撃と防御を評価するための総合的なベンチマークであるFEDLAD Framework(Federated Evaluation of Deep Leakage Attacks and Defenses)を紹介する。
  論文  参考訳（メタデータ） (2024-11-05T11:42:26Z)
• Pessimistic Evaluation [58.736490198613154]
  情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。 我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
  論文  参考訳（メタデータ） (2024-10-17T15:40:09Z)
• Benchmarking Data Heterogeneity Evaluation Approaches for Personalized Federated Learning [31.52293772126033]
  提案するベンチマークフレームワークには,6つの代表的なアプローチが含まれている。 1)PFLスキームの設計,(2)特定のFLアプリケーションシナリオに対する適切なデータ不均一性評価アプローチの選択,(3)協調モデルトレーニングにおける公平性の問題に対処する。
  論文  参考訳（メタデータ） (2024-10-09T13:16:02Z)
• A Survey on Contribution Evaluation in Vertical Federated Learning [26.32678862011122]
  Vertical Federated Learning (VFL)は、プライバシの問題に対処する機械学習において、重要なアプローチとして登場した。 本稿では,VFLにおけるコントリビューション評価について概説する。 コントリビューション評価を含むVFLにおける様々なタスクについて検討し、必要な評価特性を解析する。
  論文  参考訳（メタデータ） (2024-05-03T06:32:07Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• A Survey of Federated Unlearning: A Taxonomy, Challenges and Future Directions [71.16718184611673]
  プライバシ保護のためのフェデレートラーニング(FL)の進化により、忘れられる権利を実装する必要性が高まっている。 選択的な忘れ方の実装は、その分散した性質のため、FLでは特に困難である。 Federated Unlearning(FU)は、データプライバシの必要性の増加に対応する戦略的ソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-10-30T01:34:33Z)
• A Survey of Federated Evaluation in Federated Learning [30.56651008584592]
  従来の機械学習では、すべてのデータサンプルがサーバによって中央管理されているため、モデル評価を行うのは簡単ではない。 これは、クライアントがデータプライバシを保存するために元のデータを公開しないためです。 統合評価は、クライアントの選択、インセンティブメカニズムの設計、悪意のある攻撃検出などにおいて重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-05-14T04:55:13Z)
• A Domain-Agnostic Approach for Characterization of Lifelong Learning Systems [128.63953314853327]
  「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。 この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
  論文  参考訳（メタデータ） (2023-01-18T21:58:54Z)
• FedScale: Benchmarking Model and System Performance of Federated Learning [4.1617240682257925]
  FedScaleは、連邦学習(FL)研究のための、挑戦的で現実的なベンチマークデータセットのセットである。 FedScaleはオープンソースで、寛容なライセンスを持ち、積極的にメンテナンスされている。
  論文  参考訳（メタデータ） (2021-05-24T15:55:27Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• FedEval: A Benchmark System with a Comprehensive Evaluation Model for Federated Learning [17.680627081257246]
  本稿では,フェデレートラーニング(FL)システムに対する総合的な評価フレームワークを提案する。 まず、精度、コミュニケーション、時間効率、プライバシ、ロバストネスなど、FL評価において除外できない5つの指標を定義するACTPRモデルを紹介します。 次に、最も広く使われている2つのFLメカニズムであるFedSGDとFedAvgの詳細なベンチマーク調査を行う。
  論文  参考訳（メタデータ） (2020-11-19T04:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。