論文の概要: Generalization in Federated Learning: A Conditional Mutual Information Framework
- arxiv url: http://arxiv.org/abs/2503.04091v1
- Date: Thu, 06 Mar 2025 04:57:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 16:00:52.163584
- Title: Generalization in Federated Learning: A Conditional Mutual Information Framework
- Title（参考訳）: フェデレーション学習における一般化--条件付き相互情報フレームワーク
- Authors: Ziqiao Wang, Cheng Long, Yongyi Mao,
- Abstract要約: Federated Learning (FL)は、広く採用されているプライバシー保護分散学習フレームワークである。
本研究では,条件付き相互情報(CMI)フレームワークを用いて情報理論解析を行い,FLの2段階の一般化について検討する。
我々は、仮説に基づくCMI境界を含む複数のCMIベースの境界を導出し、FLにおけるプライバシー制約が保証を一般化することを示唆する方法について説明する。
- 参考スコア（独自算出の注目度）: 45.657352088035516
- License:
- Abstract: Federated Learning (FL) is a widely adopted privacy-preserving distributed learning framework, yet its generalization performance remains less explored compared to centralized learning. In FL, the generalization error consists of two components: the out-of-sample gap, which measures the gap between the empirical and true risk for participating clients, and the participation gap, which quantifies the risk difference between participating and non-participating clients. In this work, we apply an information-theoretic analysis via the conditional mutual information (CMI) framework to study FL's two-level generalization. Beyond the traditional supersample-based CMI framework, we introduce a superclient construction to accommodate the two-level generalization setting in FL. We derive multiple CMI-based bounds, including hypothesis-based CMI bounds, illustrating how privacy constraints in FL can imply generalization guarantees. Furthermore, we propose fast-rate evaluated CMI bounds that recover the best-known convergence rate for two-level FL generalization in the small empirical risk regime. For specific FL model aggregation strategies and structured loss functions, we refine our bounds to achieve improved convergence rates with respect to the number of participating clients. Empirical evaluations confirm that our evaluated CMI bounds are non-vacuous and accurately capture the generalization behavior of FL algorithms.
- Abstract（参考訳）: フェデレートラーニング(FL)は、広く採用されているプライバシー保護分散ラーニングフレームワークである。
FLにおいて、一般化誤差は、参加顧客に対する経験的リスクと真リスクのギャップを測定するアウト・オブ・サンプルギャップと、参加クライアントと非参加クライアントのリスク差を定量化する参加ギャップの2つの要素からなる。
本研究では,条件付き相互情報(CMI)フレームワークを用いた情報理論解析をFLの2レベル一般化の研究に適用する。
従来のスーパーサンプルベースのCMIフレームワークの他に、FLの2レベル一般化設定に対応するための超巡回構成を導入する。
我々は、仮説に基づくCMI境界を含む複数のCMIベースの境界を導出し、FLにおけるプライバシー制約が保証を一般化することを示唆する方法について説明する。
さらに,2段階のFL一般化において最もよく知られた収束率を再現する高速速度評価CMI境界を提案する。
FLモデルアグリゲーション戦略と構造的損失関数に対して, クライアント数に対する収束率の向上を実現するために, 境界を改良する。
実験により, 評価されたCMI境界は非空であり, FLアルゴリズムの一般化挙動を正確に把握できることを確認した。
関連論文リスト
- Every Parameter Matters: Ensuring the Convergence of Federated Learning
with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。
近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。
本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文 参考訳（メタデータ） (2023-10-12T19:07:58Z) - Learner Referral for Cost-Effective Federated Learning Over Hierarchical
IoT Networks [21.76836812021954]
本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。
提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
論文 参考訳（メタデータ） (2023-07-19T13:33:43Z) - Federated Learning under Covariate Shifts with Generalization Guarantees [46.56040078380132]
我々は、新しいグローバルモデルトレーニングパラダイムを策定し、フェデレート重要度重み付き経験的リスク最小化(FTW-ERM)を提案する。
FTW-ERMは、特定の設定下での古典的EMMよりも、より小さな一般化誤差を達成できることを示す。
論文 参考訳（メタデータ） (2023-06-08T16:18:08Z) - Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文 参考訳（メタデータ） (2022-11-14T13:59:50Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳（メタデータ） (2021-07-02T15:20:41Z) - FedCM: Federated Learning with Client-level Momentum [18.722626360599065]
FedCM(Federated Averaging with Client-level Momentum)は、実世界のフェデレーション学習アプリケーションにおける部分的参加とクライアントの不均一性の問題に対処するために提案される。
FedCMは、以前の通信ラウンドにおけるグローバルな勾配情報を集約し、モーメントのような用語でクライアントの勾配降下を修正し、バイアスを効果的に補正し、局所的なSGDの安定性を向上させる。
論文 参考訳（メタデータ） (2021-06-21T06:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。