論文の概要: Continual Horizontal Federated Learning for Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2203.02108v1
- Date: Fri, 4 Mar 2022 02:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 15:51:58.715974
- Title: Continual Horizontal Federated Learning for Heterogeneous Data
- Title（参考訳）: 不均一データに対する連続水平フェデレーション学習
- Authors: Junki Mori, Isamu Teranishi, Ryo Furukawa
- Abstract要約: フェデレートラーニング(Federated Learning)は、複数のクライアントが互いに生データを公開せずに、協力してモデルを構築することのできる、有望な機械学習技術である。
本稿では,各クライアントの特徴を生かしてHFLの性能向上を図るために,連続水平連合学習(CHFL)と呼ばれるニューラルネットワークを用いたHFL手法を提案する。
CHFLは、共通の機能のみを使用するバニラHFLと、各クライアントが持っているすべての機能を使用するローカルラーニングに大きく勝る。
- 参考スコア（独自算出の注目度）: 1.493231854066654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a promising machine learning technique that enables
multiple clients to collaboratively build a model without revealing the raw
data to each other. Among various types of federated learning methods,
horizontal federated learning (HFL) is the best-studied category and handles
homogeneous feature spaces. However, in the case of heterogeneous feature
spaces, HFL uses only common features and leaves client-specific features
unutilized. In this paper, we propose a HFL method using neural networks named
continual horizontal federated learning (CHFL), a continual learning approach
to improve the performance of HFL by taking advantage of unique features of
each client. CHFL splits the network into two columns corresponding to common
features and unique features, respectively. It jointly trains the first column
by using common features through vanilla HFL and locally trains the second
column by using unique features and leveraging the knowledge of the first one
via lateral connections without interfering with the federated training of it.
We conduct experiments on various real world datasets and show that CHFL
greatly outperforms vanilla HFL that only uses common features and local
learning that uses all features that each client has.
- Abstract（参考訳）: フェデレーション学習は有望な機械学習技術であり、複数のクライアントが互いに生データを公開せずに協力してモデルを構築することができる。
各種のフェデレーション学習手法の中で, 水平フェデレーション学習(HFL)が最もよく研究され, 均質な特徴空間を扱う。
しかし、ヘテロジニアスな機能空間の場合、hflは共通機能のみを使用し、クライアント固有の機能を使用しない。
本稿では,各クライアントの特徴を生かしてhflの性能を向上させるための連続学習手法であるcontinual horizontal federated learning(chfl)というニューラルネットワークを用いたhfl手法を提案する。
CHFLはネットワークを共通の特徴とユニークな特徴に対応する2つの列に分割する。
バニラHFLを介して共通の特徴を用いて第1列を共同訓練し、独自の特徴を用いて第2列をローカルに訓練し、第1列の知識を連合的な訓練に干渉することなく横線接続で活用する。
実世界のさまざまなデータセットで実験を行い、CHFLが共通の機能のみを使用するバニラHFLと、各クライアントが持つすべての機能を使用するローカル学習に大きく勝っていることを示す。
関連論文リスト
- De-VertiFL: A Solution for Decentralized Vertical Federated Learning [7.877130417748362]
この研究は、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介している。
De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。
その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
論文 参考訳（メタデータ） (2024-10-08T15:31:10Z) - An Element-Wise Weights Aggregation Method for Federated Learning [11.9232569348563]
フェデレートラーニングのための革新的要素量集約法(EWWA-FL)を提案する。
EWWA-FLは、個々の要素のレベルでグローバルモデルに局所的な重みを集約し、各クライアントが学習プロセスに要素的に貢献することを可能にする。
各クライアントのユニークなデータセット特性を考慮して、EWWA-FLはグローバルモデルの堅牢性を異なるデータセットに拡張する。
論文 参考訳（メタデータ） (2024-04-24T15:16:06Z) - Fed-CO2: Cooperation of Online and Offline Models for Severe Data
Heterogeneity in Federated Learning [14.914477928398133]
フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。
FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。
ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
論文 参考訳（メタデータ） (2023-12-21T15:12:12Z) - FediOS: Decoupling Orthogonal Subspaces for Personalization in
Feature-skew Federated Learning [6.076894295435773]
パーソナライズド・フェデレーションド・ラーニング(pFL)では、クライアントは異種データ(非IIDとも呼ばれる)を持つことがある。
FediOSでは、デカップリングを2つの特徴抽出器(ジェネリックとパーソナライズ)と1つの共有予測ヘッドに再構成する。
さらに、共有予測ヘッドは、推論中のジェネリック機能とパーソナライズ機能の重要性のバランスをとるために訓練される。
論文 参考訳（メタデータ） (2023-11-30T13:50:38Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Collaborating Heterogeneous Natural Language Processing Tasks via
Federated Learning [55.99444047920231]
提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。
自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
論文 参考訳（メタデータ） (2022-12-12T09:27:50Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。
サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。
新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
論文 参考訳（メタデータ） (2022-09-30T17:59:27Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳（メタデータ） (2021-09-19T22:57:23Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。