論文の概要: Holistic Evaluation Metrics: Use Case Sensitive Evaluation Metrics for Federated Learning

• arxiv url: http://arxiv.org/abs/2405.02360v1
• Date: Fri, 3 May 2024 03:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 20:19:44.922071
• Title: Holistic Evaluation Metrics: Use Case Sensitive Evaluation Metrics for Federated Learning
• Title（参考訳）: 包括的評価指標:フェデレートラーニングのためのユースケース感性評価指標
• Authors: Yanli Li, Jehad Ibrahim, Huaming Chen, Dong Yuan, Kim-Kwang Raymond Choo,
• Abstract要約: この研究は、IoT(Internet of Things)、スマートデバイス、機関の3つの主要なユースケースに焦点を当てている。 評価基準は、正確性、収束性、計算効率、公正性、パーソナライゼーションを含む様々な側面を含む。 これらの3つのユースケースで異なるFLアルゴリズムを評価することで、HEMは特定のシナリオに最も適したFLアルゴリズムを効果的に評価し、特定できることを示す。
• 参考スコア（独自算出の注目度）: 41.670690167970186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A large number of federated learning (FL) algorithms have been proposed for different applications and from varying perspectives. However, the evaluation of such approaches often relies on a single metric (e.g., accuracy). Such a practice fails to account for the unique demands and diverse requirements of different use cases. Thus, how to comprehensively evaluate an FL algorithm and determine the most suitable candidate for a designated use case remains an open question. To mitigate this research gap, we introduce the Holistic Evaluation Metrics (HEM) for FL in this work. Specifically, we collectively focus on three primary use cases, which are Internet of Things (IoT), smart devices, and institutions. The evaluation metric encompasses various aspects including accuracy, convergence, computational efficiency, fairness, and personalization. We then assign a respective importance vector for each use case, reflecting their distinct performance requirements and priorities. The HEM index is finally generated by integrating these metric components with their respective importance vectors. Through evaluating different FL algorithms in these three prevalent use cases, our experimental results demonstrate that HEM can effectively assess and identify the FL algorithms best suited to particular scenarios. We anticipate this work sheds light on the evaluation process for pragmatic FL algorithms in real-world applications.
• Abstract（参考訳）: 様々なアプリケーションや様々な観点から、多数のフェデレートラーニング(FL)アルゴリズムが提案されている。 しかし、そのような手法の評価は単一の計量(例えば精度)に依存することが多い。 このようなプラクティスは、異なるユースケースのユニークな要求と多様な要求を考慮に入れない。 したがって、FLアルゴリズムを包括的に評価し、指定されたユースケースに最も適した候補を決定する方法は未解決の問題である。 この研究ギャップを軽減するため,本研究ではFLのホロスティック評価基準(HEM)を導入する。 具体的には、IoT(Internet of Things)、スマートデバイス、機関の3つの主要なユースケースをまとめて取り上げます。 評価基準は、正確性、収束性、計算効率、公正性、パーソナライゼーションを含む様々な側面を含む。 次に、それぞれのユースケースにそれぞれ重要なベクタを割り当て、それぞれのパフォーマンス要件と優先順位を反映します。 HEM指数は、これらの計量成分をそれぞれの重要ベクトルと統合することによって最終的に生成される。 これらの3つのユースケースで異なるFLアルゴリズムを評価した結果、HEMは特定のシナリオに最も適したFLアルゴリズムを効果的に評価し識別できることを示した。 本研究は,実世界の応用における実用的FLアルゴリズムの評価プロセスに光を当てることが期待できる。

関連論文リスト

• Where is the Testbed for my Federated Learning Research? [3.910931245706272]
  本稿では,連邦学習(FL)研究のための実世界テストベッドであるCoLExTを紹介する。 CoLExTは、リッチなテストベッド構成空間におけるカスタムFLアルゴリズムの実験を合理化するように設計されている。 CoLExT上で動作する一般的なFLアルゴリズムに関する最初の調査を通じて、これまで未知のトレードオフ、非効率性、およびプログラミングバグを明らかにした。
  論文  参考訳（メタデータ） (2024-07-19T09:34:04Z)
• Not All Federated Learning Algorithms Are Created Equal: A Performance Evaluation Study [1.9265466185360185]
  フェデレートラーニング(FL)は、分散データからモデルをトレーニングするための実践的なアプローチとして登場した。 このギャップを埋めるために、いくつかの標準FLアルゴリズムで広範な性能評価を行う。 我々の総合的な測定結果から、異なるパフォーマンス指標に対して1つのアルゴリズムが最善を尽くさないことが判明した。
  論文  参考訳（メタデータ） (2024-03-26T00:33:49Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• A Survey for Federated Learning Evaluations: Goals and Measures [26.120949005265345]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護機械学習のための新しいパラダイムである。 FLの評価は、その学際的な性質と、実用性、効率性、セキュリティといった様々な目標のために難しい。 我々はFLアルゴリズムの標準化された総合的な評価フレームワークを提供するオープンソースプラットフォームであるFedEvalを紹介した。
  論文  参考訳（メタデータ） (2023-08-23T00:17:51Z)
• Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
  本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。 認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。 我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-14T03:15:56Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• Towards the Practical Utility of Federated Learning in the Medical Domain [32.172151977619826]
  そこで我々は,3つの代表的な医学データセットに対する実験的ベンチマークと実験的設定を提案する。 クライアント間のデータ不均一性に対処するために設計された6つのFLアルゴリズムと、2つの代表FLアルゴリズムの強度を組み合わせたハイブリッドアルゴリズムを評価する。 単純なFLアルゴリズムはより洗練されたアルゴリズムよりも優れているが、ハイブリッドアルゴリズムは優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-07T04:07:48Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)
• A Field Guide to Federated Optimization [161.3779046812383]
  フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。 本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-07-14T18:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。