論文の概要: Eliminating Domain Bias for Federated Learning in Representation Space

• arxiv url: http://arxiv.org/abs/2311.14975v1
• Date: Sat, 25 Nov 2023 09:22:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 22:30:19.040346
• Title: Eliminating Domain Bias for Federated Learning in Representation Space
• Title（参考訳）: 表現空間におけるフェデレーション学習のためのドメインバイアスの除去
• Authors: Jianqing Zhang, Yang Hua, Jian Cao, Hao Wang, Tao Song, Zhengui Xue, Ruhui Ma, and Haibing Guan
• Abstract要約: 連合学習のための一般的なフレームワークであるDomain Bias Eliminator (DBE)を提案する。 DBEはサーバとクライアント間の双方向の知識伝達を促進することができる。 DBEを具備したFL法は、10の最先端のパーソナライズされたFL法を大きなマージンで上回ることができる。
• 参考スコア（独自算出の注目度）: 31.52707182599217
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently, federated learning (FL) is popular for its privacy-preserving and collaborative learning abilities. However, under statistically heterogeneous scenarios, we observe that biased data domains on clients cause a representation bias phenomenon and further degenerate generic representations during local training, i.e., the representation degeneration phenomenon. To address these issues, we propose a general framework Domain Bias Eliminator (DBE) for FL. Our theoretical analysis reveals that DBE can promote bi-directional knowledge transfer between server and client, as it reduces the domain discrepancy between server and client in representation space. Besides, extensive experiments on four datasets show that DBE can greatly improve existing FL methods in both generalization and personalization abilities. The DBE-equipped FL method can outperform ten state-of-the-art personalized FL methods by a large margin. Our code is public at https://github.com/TsingZ0/DBE.
• Abstract（参考訳）: 近年、フェデレーション学習(FL)は、プライバシー保護と協調学習能力で人気がある。 しかし, 統計的に異質なシナリオでは, クライアント上のバイアスデータドメインが表現バイアス現象を引き起こし, 局所訓練中に汎用表現, すなわち表現退化現象を引き起こすことが観察される。 これらの問題に対処するため,我々はflのための汎用フレームワークドメインバイアスエリミネータ(dbe)を提案する。 我々の理論的分析により,dbeはサーバとクライアント間の双方向の知識伝達を促進することができることが明らかとなった。 さらに、4つのデータセットに対する広範な実験により、DBEは一般化能力とパーソナライズ能力の両方において既存のFL法を大幅に改善できることが示された。 DBEを具備したFL法は、10の最先端のパーソナライズされたFL法を大きなマージンで上回ることができる。 私たちのコードはhttps://github.com/TsingZ0/DBE.comで公開されています。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• FedSIS: Federated Split Learning with Intermediate Representation Sampling for Privacy-preserving Generalized Face Presentation Attack Detection [4.1897081000881045]
  目に見えないドメイン/アタックへの一般化の欠如は、FacePAD(face presentation attack detection)アルゴリズムのアキレスヒールである。 本研究では、プライバシ保護ドメインの一般化のために、中間表現サンプリング(FedSIS)を用いたFederated Split Learningと呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-20T11:49:12Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Federated Learning with Intermediate Representation Regularization [14.01585596739954]
  フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。 従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。 我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
  論文  参考訳（メタデータ） (2022-10-28T01:43:55Z)
• FedDAR: Federated Domain-Aware Representation Learning [14.174833360938806]
  クロスサイロ・フェデレーション・ラーニング(FL)は、医療のための機械学習アプリケーションにおいて有望なツールとなっている。 本稿では,ドメイン共有表現とドメインワイド・パーソナライズされた予測ヘッドを学習する新しい手法であるFedDARを提案する。
  論文  参考訳（メタデータ） (2022-09-08T19:18:59Z)
• FL Games: A federated learning framework for distribution shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
  論文  参考訳（メタデータ） (2022-05-23T07:51:45Z)
• Federated Learning with Domain Generalization [11.92860245410696]
  フェデレートラーニング(Federated Learning)は、集中型サーバの助けを借りて、機械学習モデルを共同でトレーニングすることを可能にする。 実際には、複数のソースドメイン上でトレーニングされたモデルは、目に見えないターゲットドメイン上での一般化性能が劣る可能性がある。 我々は,フェデレート学習とドメイン一般化能力の両立を図り,FedADGを提案する。
  論文  参考訳（メタデータ） (2021-11-20T01:02:36Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。