論文の概要: Certifiably Robust Model Evaluation in Federated Learning under Meta-Distributional Shifts
- arxiv url: http://arxiv.org/abs/2410.20250v2
- Date: Sat, 07 Jun 2025 01:54:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:09.305852
- Title: Certifiably Robust Model Evaluation in Federated Learning under Meta-Distributional Shifts
- Title（参考訳）: メタ分布シフト下でのフェデレーション学習における受動的ロバストモデルの評価
- Authors: Amir Najafi, Samin Mahdizadeh Sani, Farzan Farnia,
- Abstract要約: 異なるネットワーク "B" 上でモデルの性能を保証する。
我々は、原則付きバニラDKWバウンダリが、同じ(ソース)ネットワーク内の未確認クライアント上で、モデルの真のパフォーマンスの認証を可能にする方法を示す。
- 参考スコア（独自算出の注目度）: 8.700087812420687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the challenge of certifying the performance of a federated learning model on an unseen target network using only measurements from the source network that trained the model. Specifically, consider a source network "A" with $K$ clients, each holding private, non-IID datasets drawn from heterogeneous distributions, modeled as samples from a broader meta-distribution $\mu$. Our goal is to provide certified guarantees for the model's performance on a different, unseen network "B", governed by an unknown meta-distribution $\mu'$, assuming the deviation between $\mu$ and $\mu'$ is bounded either in Wasserstein distance or an $f$-divergence. We derive worst-case uniform guarantees for both the model's average loss and its risk CDF, the latter corresponding to a novel, adversarially robust version of the Dvoretzky-Kiefer-Wolfowitz (DKW) inequality. In addition, we show how the vanilla DKW bound enables principled certification of the model's true performance on unseen clients within the same (source) network. Our bounds are efficiently computable, asymptotically minimax optimal, and preserve clients' privacy. We also establish non-asymptotic generalization bounds that converge to zero as $K$ grows and the minimum per-client sample size exceeds $\mathcal{O}(\log K)$. Empirical evaluations confirm the practical utility of our bounds across real-world tasks. The project code is available at: github.com/samin-mehdizadeh/Robust-Evaluation-DKW
- Abstract（参考訳）: 本研究は,学習対象ネットワーク上でのフェデレーション学習モデルの性能を,トレーニング対象ネットワークからのみ測定することで検証することの課題に対処する。
具体的には、K$のクライアントを持つソースネットワーク"A"を考えてみましょう。それぞれが、異種分布から引き出されたプライベートで非IIDデータセットを保持し、より広範なメタディストリビューション$\mu$のサンプルとしてモデル化します。
我々のゴールは、未知のメタディストリビューション$\mu'$が支配する別のネットワーク"B"でモデルのパフォーマンスを保証することであり、$\mu$と$\mu'$のずれは、Wasserstein距離か$f$分割で境界づけられていると仮定する。
モデルの平均損失とリスクCDFの両方に対する最悪の一様保証を導出する。後者は、DKWの不等式(Dvoretzky-Kiefer-Wolfowitz, DKW)の新規で頑健なバージョンに対応するものである。
さらに、バニラDKWバウンダリが、同じ(ソース)ネットワーク内の未確認クライアント上でモデルの真のパフォーマンスの原則的証明を可能にする方法を示す。
私たちのバウンダリは、効率的に計算可能で、漸近的に最小限に最適化され、クライアントのプライバシを保持します。
また、K$が成長するにつれて 0 に収束する非漸近一般化境界を確立し、最小単位のサンプルサイズは$\mathcal{O}(\log K)$を超える。
実世界のタスクにまたがる境界の実用性を実証評価により確認する。
プロジェクトコードは、github.com/samin-mehdizadeh/Robust-Evaluation-DKWで公開されている。
関連論文リスト
- A Federated Distributionally Robust Support Vector Machine with Mixture of Wasserstein Balls Ambiguity Set for Distributed Fault Diagnosis [3.662364375995991]
本研究では、中央サーバとG$クライアントで構成されるネットワーク上で、データを共有せずに、分散ロバストな(DR)サポートベクタマシン(SVM)をフェデレーション方式でトレーニングする問題について検討する。
グローバルFDR-SVMをトレーニングするための2つの分散最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T19:21:45Z) - Minimal Communication-Cost Statistical Learning [14.453654853392619]
提案手法は,予測外保証の証明が可能な共同トレーニングおよびソース符号化方式を提案する。
圧縮学習モデル$widehatW$とそれ以前の$W$によって引き起こされる条件分布間で、適切なKulback-Leiblerの分岐に制約を課すことにより、平均的経験的リスクを同時に小さくすることを示す。
また,各エンコーダの出力メッセージに対して,経験的リスクと一般化誤差の保証を求めるワンショットシナリオについても検討する。
論文 参考訳（メタデータ） (2024-06-12T13:22:26Z) - Empowering Federated Learning with Implicit Gossiping: Mitigating Connection Unreliability Amidst Unknown and Arbitrary Dynamics [23.466997173249034]
フェデレーション学習は、生データを公開せずに機械学習モデルをトレーニングするための一般的なアプローチである。
p_it$がクライアントによって異なる場合、最も広く採用されているフェデレーション学習アルゴリズムであるFederated Average(FedAvg)は、大きなバイアスを経験する。
我々は、FedAvgの単純な変種であるFederated Postponed Broadcast (FedPBC)を提案する。
論文 参考訳（メタデータ） (2024-04-15T18:58:39Z) - Collaborative non-parametric two-sample testing [55.98760097296213]
目標は、null仮説の$p_v = q_v$が拒否されるノードを特定することである。
グラフ構造を効率的に活用する非パラメトリックコラボレーティブ2サンプルテスト(CTST)フレームワークを提案する。
提案手法は,f-divergence Estimation, Kernel Methods, Multitask Learningなどの要素を統合する。
論文 参考訳（メタデータ） (2024-02-08T14:43:56Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳（メタデータ） (2023-11-19T04:43:16Z) - Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。
提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。
合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文 参考訳（メタデータ） (2023-10-03T20:37:03Z) - The Fundamental Price of Secure Aggregation in Differentially Private
Federated Learning [34.630300910399036]
我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。
我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。
これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
論文 参考訳（メタデータ） (2022-03-07T22:56:09Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Distributed Sparse Feature Selection in Communication-Restricted
Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。
データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文 参考訳（メタデータ） (2021-11-02T05:02:24Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。