論文の概要: Beyond performance-wise Contribution Evaluation in Federated Learning
- arxiv url: http://arxiv.org/abs/2602.22470v1
- Date: Wed, 25 Feb 2026 23:10:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 18:41:22.442559
- Title: Beyond performance-wise Contribution Evaluation in Federated Learning
- Title(参考訳): フェデレーション学習における業績貢献度評価を超えて
- Authors: Balazs Pejo,
- Abstract要約: フェデレーション学習は、プライバシフレンドリーな協調学習フレームワークを提供する。
その成功は参加者の貢献に依存している。
この研究は、モデルの信頼性に対するクライアントのコントリビューションの問題を調査します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning offers a privacy-friendly collaborative learning framework, yet its success, like any joint venture, hinges on the contributions of its participants. Existing client evaluation methods predominantly focus on model performance, such as accuracy or loss, which represents only one dimension of a machine learning model's overall utility. In contrast, this work investigates the critical, yet overlooked, issue of client contributions towards a model's trustworthiness -- specifically, its reliability (tolerance to noisy data), resilience (resistance to adversarial examples), and fairness (measured via demographic parity). To quantify these multifaceted contributions, we employ the state-of-the-art approximation of the Shapley value, a principled method for value attribution. Our results reveal that no single client excels across all dimensions, which are largely independent from each other, highlighting a critical flaw in current evaluation scheme: no single metric is adequate for comprehensive evaluation and equitable rewarding allocation.
- Abstract(参考訳): フェデレーテッド・ラーニング(Federated Learning)は、プライバシフレンドリーな協調学習フレームワークを提供するが、その成功は、他のジョイントベンチャーと同様、参加者の貢献に依存している。
既存のクライアント評価手法は主に、精度や損失などのモデルパフォーマンスに重点を置いている。
対照的に、本研究では、モデルの信頼性(ノイズデータに対する耐性)、レジリエンス(敵の例に対する耐性)、公平性(人口統計学的同等性を通じて測定される)に対する、批判的で見過ごされがちなクライアントコントリビューションの問題を調査します。
これらの多面的貢献を定量化するために、我々は、値帰属の原則的方法であるShapley値の最先端の近似を用いる。
以上の結果から,従来の評価手法の重大な欠陥を浮き彫りにしている,すべての次元にまたがる単一のクライアントは存在しないことが判明した。
関連論文リスト
- Private and Robust Contribution Evaluation in Federated Learning [44.1965210509968]
クロスサイロフェデレーション学習は、複数の組織が生データを共有せずに、協力的に機械学習モデルをトレーニングすることを可能にする。
セキュリティアグリゲーションは、個々の更新を隠すことによってプライバシを保護するが、コントリビューション評価を複雑にする。
安全なアグリゲーションに適合する2つの限界差コントリビューションスコアを導入する。
論文 参考訳(メタデータ) (2026-02-25T09:27:40Z) - Fair Feature Importance Scores via Feature Occlusion and Permutation [41.73851747821022]
公平な特徴の重要度を測定するためのモデルに依存しない2つのアプローチを提案する。
まず、特徴値の置換前後のモデルフェアネスを比較する。
第二に、与えられた特徴を伴わずに訓練されたモデルの公平性を評価する。
論文 参考訳(メタデータ) (2026-02-09T21:02:52Z) - Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。
FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。
これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
論文 参考訳(メタデータ) (2025-10-14T20:50:30Z) - DPVS-Shapley:Faster and Universal Contribution Evaluation Component in Federated Learning [1.740992908651449]
動的Pruning Validation Set Shapley (DPVS-Shapley) というコンポーネントを導入する。
本手法は, 評価精度を損なうことなく, 元のデータセットを動的に刈り取ることにより, コントリビューション評価プロセスの高速化を図る。
論文 参考訳(メタデータ) (2024-10-19T13:01:44Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳(メタデータ) (2024-06-13T14:41:00Z) - Navigating Conflicting Views: Harnessing Trust for Learning [5.776290041122041]
我々は,エビデンシャル・マルチビュー・フレームワークを強化する計算信頼に基づく割引手法を開発した。
提案手法は,Top-1の精度,Fleiss' Kappa,および新たな測定基準であるMulti-View Agreement with Ground Truthを用いて,実世界の6つのデータセットに対して評価を行った。
論文 参考訳(メタデータ) (2024-06-03T03:22:18Z) - On the Volatility of Shapley-Based Contribution Metrics in Federated Learning [1.827018440608344]
フェデレートラーニング(Federated Learning, FL)は、協調型およびプライバシ保護型機械学習パラダイムである。
不正確なコントリビューションの割り当ては、信頼を損なう可能性があり、不公平な報酬につながるため、参加者は連合への参加や積極的に貢献するインセンティブを欠く可能性がある。
集約戦略の集合において,Shapley値の相違点を広範囲に分析し,全体的および各クライアントレベルで検証する。
論文 参考訳(メタデータ) (2024-05-13T13:55:34Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Unsupervised Reference-Free Summary Quality Evaluation via Contrastive
Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。
具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。
ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-10-05T05:04:14Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。