論文の概要: FedCiR: Client-Invariant Representation Learning for Federated Non-IID
Features
- arxiv url: http://arxiv.org/abs/2308.15786v1
- Date: Wed, 30 Aug 2023 06:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 14:44:02.046999
- Title: FedCiR: Client-Invariant Representation Learning for Federated Non-IID
Features
- Title（参考訳）: fedcir: フェデレーション非iid特徴に対するクライアント不変表現学習
- Authors: Zijian Li, Zehong Lin, Jiawei Shao, Yuyi Mao, Jun Zhang
- Abstract要約: Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。
我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
- 参考スコア（独自算出の注目度）: 15.555538379806135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a distributed learning paradigm that maximizes the
potential of data-driven models for edge devices without sharing their raw
data. However, devices often have non-independent and identically distributed
(non-IID) data, meaning their local data distributions can vary significantly.
The heterogeneity in input data distributions across devices, commonly referred
to as the feature shift problem, can adversely impact the training convergence
and accuracy of the global model. To analyze the intrinsic causes of the
feature shift problem, we develop a generalization error bound in FL, which
motivates us to propose FedCiR, a client-invariant representation learning
framework that enables clients to extract informative and client-invariant
features. Specifically, we improve the mutual information term between
representations and labels to encourage representations to carry essential
classification knowledge, and diminish the mutual information term between the
client set and representations conditioned on labels to promote representations
of clients to be client-invariant. We further incorporate two regularizers into
the FL framework to bound the mutual information terms with an approximate
global representation distribution to compensate for the absence of the
ground-truth global representation distribution, thus achieving informative and
client-invariant feature extraction. To achieve global representation
distribution approximation, we propose a data-free mechanism performed by the
server without compromising privacy. Extensive experiments demonstrate the
effectiveness of our approach in achieving client-invariant representation
learning and solving the data heterogeneity issue.
- Abstract（参考訳）: Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。
しかし、デバイスはしばしば非独立で同一に分散した(非IID)データを持っているため、そのローカルなデータ分布は著しく異なる可能性がある。
デバイス間の入力データ分布の不均一性(いわゆる特徴シフト問題)は、グローバルモデルのトレーニング収束と精度に悪影響を及ぼす可能性がある。
特徴シフト問題の本質的な原因を分析するため,FLにおける一般化誤差を解析し,クライアントから情報やクライアントから不変な特徴を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
具体的には、表現とラベル間の相互情報項を改善して、表現に不可欠な分類知識を持たせるように促し、クライアントセットとラベルに条件付けられた表現との相互情報項を減らし、クライアントの表現をクライアント不変にする。
さらに、2つの正規化子をflフレームワークに組み込み、相互情報項を近似的な大域表現分布にバインドすることで、接地的大域表現分布の欠如を補償し、情報的かつクライアント不変な特徴抽出を可能にする。
グローバルな表現分布近似を実現するため,プライバシを損なうことなくサーバが行うデータフリー機構を提案する。
大規模な実験は、クライアント不変表現学習の実現とデータ不均一性問題の解決における我々のアプローチの有効性を示す。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data [13.146806294562474]
本稿では,FedCoSR(Federated Contrastive Shareable Representations)という,個人化学習アルゴリズムを提案する。
ローカルモデルの浅い層と典型的なローカル表現のパラメータはどちらもサーバの共有可能な情報である。
クライアント間でのラベル分布スキューによる性能の低下に対処するため、局所表現とグローバル表現の対比学習を採用する。
論文 参考訳（メタデータ） (2024-04-27T14:05:18Z) - Performative Federated Learning: A Solution to Model-Dependent and
Heterogeneous Distribution Shifts [24.196279060605402]
複数のクライアントとサーバからなる連合学習(FL)システムについて検討する。
クライアントのデータが静的であると仮定する従来のFLフレームワークとは異なり、クライアントのデータ分散がデプロイされた決定モデルによって再生成されるシナリオを考察する。
論文 参考訳（メタデータ） (2023-05-08T23:29:24Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-27T07:57:04Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文 参考訳（メタデータ） (2022-05-30T07:43:42Z) - A Closer Look at Personalization in Federated Image Classification [33.27317065917578]
フェデレートラーニング(FL)は、分散化されたデータにまたがる単一のグローバルモデルを学ぶために開発された。
本稿では,グローバルモデルの収束後,フレキシブルなパーソナライゼーションを実現することができることを示す。
独立二段階パーソナライズされたFLフレームワークであるRepPerを提案する。
論文 参考訳（メタデータ） (2022-04-22T06:32:18Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳（メタデータ） (2020-10-18T13:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。