論文の概要: Exploiting Personalized Invariance for Better Out-of-distribution
Generalization in Federated Learning
- arxiv url: http://arxiv.org/abs/2211.11243v1
- Date: Mon, 21 Nov 2022 08:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:14:01.589001
- Title: Exploiting Personalized Invariance for Better Out-of-distribution
Generalization in Federated Learning
- Title（参考訳）: フェデレーション学習における個人化不変性の爆発的展開
- Authors: Xueyang Tang, Song Guo, Jie Zhang
- Abstract要約: 本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。
本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
- 参考スコア（独自算出の注目度）: 13.246981646250518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, data heterogeneity among the training datasets on the local clients
(a.k.a., Non-IID data) has attracted intense interest in Federated Learning
(FL), and many personalized federated learning methods have been proposed to
handle it. However, the distribution shift between the training dataset and
testing dataset on each client is never considered in FL, despite it being
general in real-world scenarios. We notice that the distribution shift (a.k.a.,
out-of-distribution generalization) problem under Non-IID federated setting
becomes rather challenging due to the entanglement between personalized and
spurious information. To tackle the above problem, we elaborate a general
dual-regularized learning framework to explore the personalized invariance,
compared with the exsiting personalized federated learning methods which are
regularized by a single baseline (usually the global model). Utilizing the
personalized invariant features, the developed personalized models can
efficiently exploit the most relevant information and meanwhile eliminate
spurious information so as to enhance the out-of-distribution generalization
performance for each client. Both the theoretical analysis on convergence and
OOD generalization performance and the results of extensive experiments
demonstrate the superiority of our method over the existing federated learning
and invariant learning methods, in diverse out-of-distribution and Non-IID data
cases.
- Abstract（参考訳）: 近年、ローカルクライアント上のトレーニングデータセット(すなわち、非iidデータ)間のデータの不均一性が、フェデレーション学習(fl)に強い関心を集め、それを扱うために多くのパーソナライズされたフェデレーション学習手法が提案されている。
しかし、トレーニングデータセットと各クライアントのテストデータセットの間の分散シフトは、現実のシナリオでは一般的であるにもかかわらず、flでは決して考慮されない。
非iidフェデレーション設定下での分布シフト(分散一般化)問題は,個人情報とスプリアス情報との絡み合いのため,かなり困難である。
上記の問題に取り組むため,本研究では,単一ベースライン(一般にグローバルモデル)によって正規化される個人化連体学習手法と比較し,個人化不分散を探索する一般的な二重正規化学習フレームワークを詳説する。
パーソナライズされた不変機能を利用することで、開発したパーソナライズモデルでは、最も関連する情報を効率的に活用でき、一方、スプリアスな情報を排除して、各クライアントの分散一般化性能を向上させることができる。
収束とood一般化性能に関する理論的解析と広範な実験の結果は,既存の連立学習法や不変学習法よりも,多種多様な分散データと非iidデータにおいて優れていることを示した。
関連論文リスト
- Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer [0.0]
フェデレートラーニング(FL)は、分散データ上で単一のモデルを生成するための、プライバシ保護機械学習パラダイムとして人気がある。
適応的特徴集約と知識伝達(FedAFK)による個人化学習手法を提案する。
広範に使われている2つの不均一な条件下で3つのデータセットについて広範な実験を行い、提案手法が13の最先端ベースラインに対して優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-19T11:32:39Z) - Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization [35.48757125452761]
フェデレートラーニング(Federated Learning)は、複数の分散デバイス間の協調モデルトレーニングを容易にするために設計された、効率的なフレームワークである。
連合学習の重要な課題は、データレベルの不均一性、すなわち、スキュードまたはロングテールのプライベートデータの分散である。
本稿では,フェデレーション・パーソナライゼーションとフェデレーション・プロトタイプ・レクティフィケーションの2つの部分からなる新しいフェデレーション・プロトタイプ・レクティフィケーションを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:26:46Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Dirichlet-based Uncertainty Quantification for Personalized Federated
Learning with Improved Posterior Networks [9.54563359677778]
本稿では,グローバルおよびパーソナライズされたモデルの中からモデルを選択可能なフェデレーション学習への新たなアプローチを提案する。
これは、局所的およびグローバルな分布内および分布外データを検出するのに役立つ予測不確実性の慎重なモデリングによって達成される。
一般的な実世界の画像データセットに対する総合的な実験的評価は、アウト・オブ・ディストリビューション・データの存在下でのモデルの優れた性能を示している。
論文 参考訳（メタデータ） (2023-12-18T14:30:05Z) - Advocating for the Silent: Enhancing Federated Generalization for Non-Participating Clients [38.804196122833645]
本稿では,フェデレートラーニングのための情報理論の一般化フレームワークについて紹介する。
局所分布の情報エントロピーを評価することで一般化誤差を定量化する。
導出一般化境界に着想を得て、重み付け集約アプローチとクライアント選択戦略の二重化を導入する。
論文 参考訳（メタデータ） (2023-10-11T03:39:56Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。
我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。
FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-11-03T15:48:14Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated
Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。
本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。
FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文 参考訳（メタデータ） (2022-04-30T06:17:36Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。