論文の概要: Federated Computation of ROC and PR Curves
- arxiv url: http://arxiv.org/abs/2510.04979v1
- Date: Mon, 06 Oct 2025 16:16:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.976557
- Title: Federated Computation of ROC and PR Curves
- Title(参考訳): ROC曲線とPR曲線のフェデレート計算
- Authors: Xuefeng Xu, Graham Cormode,
- Abstract要約: データを複数のクライアントに分散するフェデレートラーニング(FL)のシナリオでは、プライバシと通信の制約のため、LOCとPR曲線の計算は困難である。
本稿では,分散差分プライバシー下での予測スコア分布の量子化を推定することにより,フェデレート環境でのROC曲線とPR曲線の近似手法を提案する。
- 参考スコア(独自算出の注目度): 8.64427265159929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Receiver Operating Characteristic (ROC) and Precision-Recall (PR) curves are fundamental tools for evaluating machine learning classifiers, offering detailed insights into the trade-offs between true positive rate vs. false positive rate (ROC) or precision vs. recall (PR). However, in Federated Learning (FL) scenarios, where data is distributed across multiple clients, computing these curves is challenging due to privacy and communication constraints. Specifically, the server cannot access raw prediction scores and class labels, which are used to compute the ROC and PR curves in a centralized setting. In this paper, we propose a novel method for approximating ROC and PR curves in a federated setting by estimating quantiles of the prediction score distribution under distributed differential privacy. We provide theoretical bounds on the Area Error (AE) between the true and estimated curves, demonstrating the trade-offs between approximation accuracy, privacy, and communication cost. Empirical results on real-world datasets demonstrate that our method achieves high approximation accuracy with minimal communication and strong privacy guarantees, making it practical for privacy-preserving model evaluation in federated systems.
- Abstract(参考訳): 受信者動作特性(ROC)と精度-リコール曲線(PR)は、機械学習分類器を評価するための基本的なツールであり、真正率と偽正率(ROC)、精度対リコール(PR)のトレードオフに関する詳細な洞察を提供する。
しかし、複数のクライアントに分散するフェデレートラーニング(FL)のシナリオでは、プライバシーと通信の制約のため、これらの曲線の計算は困難である。
具体的には、サーバは、ROCおよびPR曲線を集中的に計算するために使用される生の予測スコアやクラスラベルにアクセスすることができない。
本稿では,分散差分プライバシー下での予測スコア分布の量子化を推定することにより,フェデレーション環境でのROC曲線とPR曲線を近似する新しい手法を提案する。
近似精度,プライバシ,通信コストのトレードオフを実証し,真の曲線と推定曲線の間のエリアエラー(AE)の理論的境界について述べる。
実世界のデータセットにおける実験結果から,本手法は最小限の通信と強力なプライバシ保証によって高い近似精度を達成し,フェデレーションシステムにおけるプライバシ保護モデル評価に有効であることが示された。
関連論文リスト
- The Statistical Fairness-Accuracy Frontier [50.323024516295725]
機械学習モデルは正確性と公平さのバランスをとる必要があるが、これらの目標はしばしば矛盾する。
このトレードオフを理解するための有用なツールとしてフェアネス・精度フロンティアがあり、フェアネスと精度の両方で同時に改善できないモデルの集合を特徴付ける。
本研究では, 有限サンプル体制におけるFAフロンティアについて検討し, 人口の減少と, 最悪のケースギャップの定量化について検討した。
論文 参考訳(メタデータ) (2025-08-25T03:01:35Z) - Federated PCA and Estimation for Spiked Covariance Matrices: Optimal Rates and Efficient Algorithm [19.673557166734977]
フェデレートラーニング(FL)は、プライバシとデータセキュリティの強化により、機械学習において、近年大きな注目を集めている。
本稿では,分散差分プライバシー制約下でのフェデレーションPCAとスパイク共分散行列の推定について検討する。
我々は、集中サーバの最適レートがローカルクライアントのミニマックスレートの調和平均であることから、収束のミニマックスレートを確立する。
論文 参考訳(メタデータ) (2024-11-23T21:57:50Z) - Conditional Prediction ROC Bands for Graph Classification [14.222892103838165]
予測ROC(CP-ROC)バンドは、RCC曲線の不確実性定量化と、テストデータの分布シフトに対するロバスト性を提供する。
CP-ROCを局所交換性条件下で統計的に保証する。
これは、テストグラフ分布がトレーニングデータと異なる場合の信頼性を確保するため、非イド設定下でのROC曲線の不確実性に対処する。
論文 参考訳(メタデータ) (2024-10-20T00:44:59Z) - FedCert: Federated Accuracy Certification [8.34167718121698]
フェデレートラーニング(FL)は、機械学習モデルを分散的にトレーニングするための強力なパラダイムとして登場した。
従来の研究では、認定精度に基づいて、集中訓練におけるモデルの有効性を評価してきた。
本研究では,FLシステムのロバスト性を評価するためのFedCertという手法を提案する。
論文 参考訳(メタデータ) (2024-10-04T01:19:09Z) - Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。
我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
論文 参考訳(メタデータ) (2024-04-17T23:37:50Z) - Learning for Transductive Threshold Calibration in Open-World Recognition [83.35320675679122]
グラフニューラルネットワークを用いた高剛性と適応性を有するトランスダクティブしきい値キャリブレーション法であるOpenGCNを導入する。
オープンワールドの視覚認識ベンチマークにおける実験は、オープンワールドのしきい値校正のための既存のポストホック校正方法よりもOpenGCNの方が優れていることを検証する。
論文 参考訳(メタデータ) (2023-05-19T23:52:48Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳(メタデータ) (2023-01-25T19:35:23Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。