論文の概要: Federated Learning for distribution skewed data using sample weights
- arxiv url: http://arxiv.org/abs/2401.02586v1
- Date: Fri, 5 Jan 2024 00:46:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 16:18:25.854680
- Title: Federated Learning for distribution skewed data using sample weights
- Title（参考訳）: サンプル重みを用いた分布歪データのフェデレート学習
- Authors: Hung Nguyen, Peiyuan Wu, Morris Chang
- Abstract要約: 本研究は,クライアント間のスキューデータ分散におけるフェデレート学習性能の向上に焦点を当てた。
主な考え方は、サンプル重量を用いてクライアントの分布をグローバルな分布に近づけることである。
提案手法は,フェデレーション学習の精度を向上するだけでなく,通信コストを大幅に削減する。
- 参考スコア（独自算出の注目度）: 3.6039117546761155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most challenging issues in federated learning is that the data is
often not independent and identically distributed (nonIID). Clients are
expected to contribute the same type of data and drawn from one global
distribution. However, data are often collected in different ways from
different resources. Thus, the data distributions among clients might be
different from the underlying global distribution. This creates a weight
divergence issue and reduces federated learning performance. This work focuses
on improving federated learning performance for skewed data distribution across
clients. The main idea is to adjust the client distribution closer to the
global distribution using sample weights. Thus, the machine learning model
converges faster with higher accuracy. We start from the fundamental concept of
empirical risk minimization and theoretically derive a solution for adjusting
the distribution skewness using sample weights. To determine sample weights, we
implicitly exchange density information by leveraging a neural network-based
density estimation model, MADE. The clients data distribution can then be
adjusted without exposing their raw data. Our experiment results on three
real-world datasets show that the proposed method not only improves federated
learning accuracy but also significantly reduces communication costs compared
to the other experimental methods.
- Abstract（参考訳）: フェデレーション学習における最も難しい問題の1つは、データが独立ではなく、同じ分散(noniid)であることが多いことである。
クライアントは同じ種類のデータを提供し、単一のグローバルディストリビューションから引き出すことが期待されている。
しかし、データはしばしば異なるリソースから異なる方法で収集される。
したがって、クライアント間のデータ分散は、下層のグローバル分散とは異なるかもしれない。
これにより、重み分散問題が発生し、連合学習性能が低下する。
本研究は,クライアント間のスキューデータ分散におけるフェデレート学習性能の向上に焦点を当てた。
主な考え方は、サンプル重量を用いてグローバル分布に近いクライアント分布を調整することである。
したがって、機械学習モデルはより高精度でより高速に収束する。
実験的リスク最小化の基本的な概念から始まり,理論上,試料重みを用いた分布歪性調整の解を導出する。
サンプル重みを決定するために,ニューラルネットワークを用いた密度推定モデルを用いて,暗黙的に密度情報を交換する。
クライアントのデータ分散は、生のデータを公開することなく調整できる。
実世界の3つのデータセットに対する実験結果から,提案手法はフェデレーション学習精度を向上するだけでなく,他の実験手法と比較して通信コストを大幅に削減することが示された。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T19:10:56Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - FedFA: Federated Feature Augmentation [25.130087374092383]
フェデレーション学習は、複数のパーティが生データを交換することなく、ディープモデルを協調的にトレーニングすることを可能にする。
本研究の主な目的は,クライアントのサンプルの特徴変化に対処する堅牢なフェデレーション学習アルゴリズムを開発することである。
我々は,フェデレーション機能強化の観点から,フェデレーション学習に取り組むためのFedFAを提案する。
論文 参考訳（メタデータ） (2023-01-30T15:39:55Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳（メタデータ） (2022-08-04T04:24:16Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Data Selection for Efficient Model Update in Federated Learning [0.07614628596146598]
本稿では,グローバルモデルのトレーニングに必要なローカルデータの量を削減することを提案する。
本手法では, 局所データの特徴により敏感な部分と, 一般特徴抽出のための下位部分と, 上位部分とにモデルを分割する。
実験の結果,クライアントデータの特徴をグローバルモデルに転送できる地域データは1%未満であることがわかった。
論文 参考訳（メタデータ） (2021-11-05T14:07:06Z) - Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。
本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。
PENSは強力なベースラインに比べて高い精度を達成することができる。
論文 参考訳（メタデータ） (2021-07-18T19:05:44Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。