Fugu-MT 論文翻訳(概要): EFFGAN: Ensembles of fine-tuned federated GANs

論文の概要: EFFGAN: Ensembles of fine-tuned federated GANs

arxiv url: http://arxiv.org/abs/2206.11682v1
Date: Thu, 23 Jun 2022 13:12:16 GMT
ステータス: 処理完了
システム内更新日: 2022-06-24 18:48:45.664369
Title: EFFGAN: Ensembles of fine-tuned federated GANs
Title（参考訳）: EFFGAN: 細調整された連合GANの集合体
Authors: Ebba Ekblom, Edvin Listo Zec, Olof Mogren
Abstract要約: 本研究では,クライアント上で不均一に分散化され,共有できないデータ分散学習の課題について検討する。私たちの目標は、このディストリビューションを集中的にサンプリングすることにあります。ローカルなエキスパートジェネレータの集合体であるEFFGANは、すべてのクライアント上のデータの分散を学習し、クライアントのドリフトを軽減することができる。
参考スコア（独自算出の注目度）: 0.39594431485015086
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative adversarial networks have proven to be a powerful tool for learning complex and high-dimensional data distributions, but issues such as mode collapse have been shown to make it difficult to train them. This is an even harder problem when the data is decentralized over several clients in a federated learning setup, as problems such as client drift and non-iid data make it hard for federated averaging to converge. In this work, we study the task of how to learn a data distribution when training data is heterogeneously decentralized over clients and cannot be shared. Our goal is to sample from this distribution centrally, while the data never leaves the clients. We show using standard benchmark image datasets that existing approaches fail in this setting, experiencing so-called client drift when the local number of epochs becomes to large. We thus propose a novel approach we call EFFGAN: Ensembles of fine-tuned federated GANs. Being an ensemble of local expert generators, EFFGAN is able to learn the data distribution over all clients and mitigate client drift. It is able to train with a large number of local epochs, making it more communication efficient than previous works.
Abstract（参考訳）: 生成的敵ネットワークは、複雑で高次元のデータ分布を学習するための強力なツールであることが証明されているが、モード崩壊などの問題は、それらを訓練することを困難にしている。これは、クライアントのドリフトや非IDデータのような問題によって、フェデレーション平均化が難しくなるため、フェデレーション付き学習設定でデータが複数のクライアントに分散化される場合、さらに難しい問題である。本研究では,クライアント上で不均一に分散化され,共有できないデータ分散学習の課題について検討する。当社の目標は、このディストリビューションを集中的にサンプルすることですが、データはクライアントを離れません。この設定では、既存のアプローチが失敗する標準的なベンチマーク画像データセットを使用することで、局所的なエポック数が大きくなると、いわゆるクライアントドリフトが発生します。そこで我々はEFFGAN: Ensembles of fine-tuned Federated GANsを提案する。ローカルなエキスパートジェネレータの集合体であるEFFGANは、すべてのクライアント上のデータの分散を学習し、クライアントのドリフトを軽減することができる。多数の局所的なエポックで訓練することができ、以前の作業よりも通信効率が良い。

関連論文リスト

Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文参考訳（メタデータ） (2022-09-21T17:37:54Z)
FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。本稿では,FRAug(Federated Representation Augmentation)を提案する。当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文参考訳（メタデータ） (2022-05-30T07:43:42Z)
FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文参考訳（メタデータ） (2022-03-22T14:06:26Z)
Data Selection for Efficient Model Update in Federated Learning [0.07614628596146598]
本稿では,グローバルモデルのトレーニングに必要なローカルデータの量を削減することを提案する。本手法では, 局所データの特徴により敏感な部分と, 一般特徴抽出のための下位部分と, 上位部分とにモデルを分割する。実験の結果,クライアントデータの特徴をグローバルモデルに転送できる地域データは1%未満であることがわかった。
論文参考訳（メタデータ） (2021-11-05T14:07:06Z)
Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:53:05Z)
Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
論文参考訳（メタデータ） (2021-07-18T19:05:44Z)
Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文参考訳（メタデータ） (2021-03-29T20:47:45Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。