論文の概要: Robust Model Evaluation over Large-scale Federated Networks

• arxiv url: http://arxiv.org/abs/2410.20250v1
• Date: Sat, 26 Oct 2024 18:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:55.360060
• Title: Robust Model Evaluation over Large-scale Federated Networks
• Title（参考訳）: 大規模フェデレーションネットワークにおけるロバストモデル評価
• Authors: Amir Najafi, Samin Mahdizadeh Sani, Farzan Farnia,
• Abstract要約: 我々は、目に見えないターゲットネットワーク上での機械学習モデルの性能を認証する課題に対処する。 モデルの平均損失を理論的に保証し、リスクCDFに一様境界を与える。 私たちのバウンダリは、K$クライアントへの多数のクエリに間に合うように計算可能で、モデルのプライベートデータにおける損失のみをクエリすることで、クライアントのプライバシを保存することができます。
• 参考スコア（独自算出の注目度）: 8.700087812420687
• License:
• Abstract: In this paper, we address the challenge of certifying the performance of a machine learning model on an unseen target network, using measurements from an available source network. We focus on a scenario where heterogeneous datasets are distributed across a source network of clients, all connected to a central server. Specifically, consider a source network "A" composed of $K$ clients, each holding private data from unique and heterogeneous distributions, which are assumed to be independent samples from a broader meta-distribution $\mu$. Our goal is to provide certified guarantees for the model's performance on a different, unseen target network "B," governed by another meta-distribution $\mu'$, assuming the deviation between $\mu$ and $\mu'$ is bounded by either the Wasserstein distance or an $f$-divergence. We derive theoretical guarantees for the model's empirical average loss and provide uniform bounds on the risk CDF, where the latter correspond to novel and adversarially robust versions of the Glivenko-Cantelli theorem and the Dvoretzky-Kiefer-Wolfowitz (DKW) inequality. Our bounds are computable in polynomial time with a polynomial number of queries to the $K$ clients, preserving client privacy by querying only the model's (potentially adversarial) loss on private data. We also establish non-asymptotic generalization bounds that consistently converge to zero as both $K$ and the minimum client sample size grow. Extensive empirical evaluations validate the robustness and practicality of our bounds across real-world tasks.
• Abstract（参考訳）: 本稿では、利用可能なソースネットワークからの測定を用いて、未知のターゲットネットワーク上での機械学習モデルの性能を検証するという課題に対処する。 我々は、異種データセットがクライアントのソースネットワークに分散され、すべて中央サーバーに接続されるシナリオに焦点を当てる。 具体的には、K$のクライアントで構成されるソースネットワーク"A"を考えてみましょう。それぞれがユニークで異種なディストリビューションからプライベートデータを保持しており、より広範なメタディストリビューション$\mu$から独立したサンプルであると仮定されている。 我々のゴールは、別のメタディストリビューションである$\mu'$が支配する別のターゲットネットワーク"B"上で、モデルのパフォーマンスを保証することであり、$\mu$と$\mu'$のずれは、Wasserstein距離または$f$-divergenceによって境界づけられていると仮定する。 モデルの平均損失の理論的保証を導き、Glivenko-Cantelli定理とDvoretzky-Kiefer-Wolfowitz(DKW)の不等式に対応するリスクCDFに一様境界を与える。 我々のバウンダリは多項式時間で計算可能で、$K$クライアントへのクエリの多項式数があり、モデルの(潜在的に敵対的な)損失のみをプライベートデータ上でクエリすることで、クライアントのプライバシを保存する。 また、K$ と最小クライアントサンプルサイズの両方が大きくなるにつれて、常に 0 に収束する漸近的でない一般化境界を確立する。 広範囲にわたる経験的評価は、実世界のタスクにまたがる境界の堅牢性と実用性を検証する。

関連論文リスト

• A Federated Distributionally Robust Support Vector Machine with Mixture of Wasserstein Balls Ambiguity Set for Distributed Fault Diagnosis [3.662364375995991]
  本研究では、中央サーバとG$クライアントで構成されるネットワーク上で、データを共有せずに、分散ロバストな(DR)サポートベクタマシン(SVM)をフェデレーション方式でトレーニングする問題について検討する。 グローバルFDR-SVMをトレーニングするための2つの分散最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T19:21:45Z)
• Minimal Communication-Cost Statistical Learning [14.453654853392619]
  提案手法は,予測外保証の証明が可能な共同トレーニングおよびソース符号化方式を提案する。 圧縮学習モデル$widehatW$とそれ以前の$W$によって引き起こされる条件分布間で、適切なKulback-Leiblerの分岐に制約を課すことにより、平均的経験的リスクを同時に小さくすることを示す。 また,各エンコーダの出力メッセージに対して,経験的リスクと一般化誤差の保証を求めるワンショットシナリオについても検討する。
  論文  参考訳（メタデータ） (2024-06-12T13:22:26Z)
• Empowering Federated Learning with Implicit Gossiping: Mitigating Connection Unreliability Amidst Unknown and Arbitrary Dynamics [23.466997173249034]
  フェデレーション学習は、生データを公開せずに機械学習モデルをトレーニングするための一般的なアプローチである。 p_it$がクライアントによって異なる場合、最も広く採用されているフェデレーション学習アルゴリズムであるFederated Average(FedAvg)は、大きなバイアスを経験する。 我々は、FedAvgの単純な変種であるFederated Postponed Broadcast (FedPBC)を提案する。
  論文  参考訳（メタデータ） (2024-04-15T18:58:39Z)
• Collaborative non-parametric two-sample testing [55.98760097296213]
  目標は、null仮説の$p_v = q_v$が拒否されるノードを特定することである。 グラフ構造を効率的に活用する非パラメトリックコラボレーティブ2サンプルテスト(CTST)フレームワークを提案する。 提案手法は,f-divergence Estimation, Kernel Methods, Multitask Learningなどの要素を統合する。
  論文  参考訳（メタデータ） (2024-02-08T14:43:56Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
  我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。 我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。 これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
  論文  参考訳（メタデータ） (2022-03-07T22:56:09Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。