論文の概要: Advocating for the Silent: Enhancing Federated Generalization for Non-Participating Clients

• arxiv url: http://arxiv.org/abs/2310.07171v6
• Date: Thu, 10 Oct 2024 13:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:27:38.582842
• Title: Advocating for the Silent: Enhancing Federated Generalization for Non-Participating Clients
• Title（参考訳）: サイレントへのアドボケート:非参加型クライアントのためのフェデレーションの強化
• Authors: Zheshun Wu, Zenglin Xu, Dun Zeng, Qifan Wang, Jie Liu,
• Abstract要約: 本稿では,フェデレートラーニングのための情報理論の一般化フレームワークについて紹介する。 局所分布の情報エントロピーを評価することで一般化誤差を定量化する。 導出一般化境界に着想を得て、重み付け集約アプローチとクライアント選択戦略の二重化を導入する。
• 参考スコア（独自算出の注目度）: 38.804196122833645
• License:
• Abstract: Federated Learning (FL) has surged in prominence due to its capability of collaborative model training without direct data sharing. However, the vast disparity in local data distributions among clients, often termed the Non-Independent Identically Distributed (Non-IID) challenge, poses a significant hurdle to FL's generalization efficacy. The scenario becomes even more complex when not all clients participate in the training process, a common occurrence due to unstable network connections or limited computational capacities. This can greatly complicate the assessment of the trained models' generalization abilities. While a plethora of recent studies has centered on the generalization gap pertaining to unseen data from participating clients with diverse distributions, the distinction between the training distributions of participating clients and the testing distributions of non-participating ones has been largely overlooked. In response, our paper unveils an information-theoretic generalization framework for FL. Specifically, it quantifies generalization errors by evaluating the information entropy of local distributions and discerning discrepancies across these distributions. Inspired by our deduced generalization bounds, we introduce a weighted aggregation approach and a duo of client selection strategies. These innovations are designed to strengthen FL's ability to generalize and thus ensure that trained models perform better on non-participating clients by incorporating a more diverse range of client data distributions. Our extensive empirical evaluations reaffirm the potency of our proposed methods, aligning seamlessly with our theoretical construct.
• Abstract（参考訳）: Federated Learning (FL)は、直接的なデータ共有を伴わない協調モデルトレーニングの能力により、人気が高まっている。 しかし、クライアント間でのローカルデータ分散の相違は、しばしば非独立性独立分散(Non-IID)チャレンジと呼ばれ、FLの一般化効果に大きなハードルとなる。 すべてのクライアントがトレーニングプロセスに参加するわけではない場合、このシナリオはさらに複雑になる。 これは、訓練されたモデルの一般化能力の評価を大幅に複雑にすることができる。 近年, 多様な分布を持つクライアントの未確認データに関する一般化のギャップが注目されているが, 参加クライアントのトレーニング分布と非参加クライアントの試験分布との区別は概ね見過ごされている。 そこで本稿では,FLのための情報理論の一般化フレームワークについて紹介する。 具体的には、局所分布の情報エントロピーを評価し、これらの分布にまたがる差分を識別することによって一般化誤差を定量化する。 導出一般化境界に着想を得て、重み付け集約アプローチとクライアント選択戦略の二重化を導入する。 これらの革新は、FLの一般化能力を強化し、より多様なクライアントデータ分散を組み込むことで、訓練されたモデルが非参加型クライアントでより良く機能することを保証するように設計されている。 提案手法の有効性を再確認し,理論的構成とシームレスに一致させた。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors [21.931436901703634]
  従来のフェデレートラーニング(FL)には、ユーザデータのプライバシを維持しながら、グローバルモデルの協調的なトレーニングが含まれる。 そのブランチの1つ、分散FLは、クライアントが別々のローカルモデルを所有し、最適化できるサーバーレスネットワークである。 本稿では,DeSAと呼ばれる合成アンカーを導入し,新しい分散FL手法を提案する。
  論文  参考訳（メタデータ） (2024-05-19T11:36:45Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• FedCiR: Client-Invariant Representation Learning for Federated Non-IID Features [15.555538379806135]
  Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。 我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
  論文  参考訳（メタデータ） (2023-08-30T06:36:32Z)
• FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
  フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。 我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。 特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
  論文  参考訳（メタデータ） (2023-02-15T03:42:59Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning [13.246981646250518]
  本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。 本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-21T08:17:03Z)
• FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
  多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。 我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:48:14Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• FL Games: A federated learning framework for distribution shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
  論文  参考訳（メタデータ） (2022-05-23T07:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。