論文の概要: FedTP: Federated Learning by Transformer Personalization
- arxiv url: http://arxiv.org/abs/2211.01572v2
- Date: Tue, 18 Apr 2023 07:40:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 18:23:42.441152
- Title: FedTP: Federated Learning by Transformer Personalization
- Title（参考訳）: FedTP:トランスフォーマーパーソナライゼーションによるフェデレーション学習
- Authors: Hongxia Li, Zhongyi Cai, Jingya Wang, Jiangnan Tang, Weiping Ding,
Chin-Teng Lin, and Ye Shi
- Abstract要約: フェデレートラーニング(Federated Learning)は、複数のクライアントがプライバシを保存する方法で機械学習モデルを共同でトレーニングする、新たな学習パラダイムである。
我々は,トランスフォーマーをベースとした新しいフェデレーション学習フレームワークであるFedTPを提案し,各クライアントに対してパーソナライズされた自己意識を学習する。
我々は、顧客間の協力をさらに促進し、FedTPのスキャビビリティと一般化を高めるための学習対個人化メカニズムを開発する。
- 参考スコア（独自算出の注目度）: 29.029066838129157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning is an emerging learning paradigm where multiple clients
collaboratively train a machine learning model in a privacy-preserving manner.
Personalized federated learning extends this paradigm to overcome heterogeneity
across clients by learning personalized models. Recently, there have been some
initial attempts to apply Transformers to federated learning. However, the
impacts of federated learning algorithms on self-attention have not yet been
studied. This paper investigates this relationship and reveals that federated
averaging algorithms actually have a negative impact on self-attention where
there is data heterogeneity. These impacts limit the capabilities of the
Transformer model in federated learning settings. Based on this, we propose
FedTP, a novel Transformer-based federated learning framework that learns
personalized self-attention for each client while aggregating the other
parameters among the clients. Instead of using a vanilla personalization
mechanism that maintains personalized self-attention layers of each client
locally, we develop a learn-to-personalize mechanism to further encourage the
cooperation among clients and to increase the scablability and generalization
of FedTP. Specifically, the learn-to-personalize is realized by learning a
hypernetwork on the server that outputs the personalized projection matrices of
self-attention layers to generate client-wise queries, keys and values.
Furthermore, we present the generalization bound for FedTP with the
learn-to-personalize mechanism. Notably, FedTP offers a convenient environment
for performing a range of image and language tasks using the same federated
network architecture - all of which benefit from Transformer personalization.
Extensive experiments verify that FedTP with the learn-to-personalize mechanism
yields state-of-the-art performance in non-IID scenarios. Our code is available
online.
- Abstract（参考訳）: フェデレーション学習(Federated Learning)は、複数のクライアントがプライバシ保護の方法で機械学習モデルを共同でトレーニングする、新たな学習パラダイムである。
パーソナライズされた連合学習は、パーソナライズされたモデルを学習することで、クライアント間の多様性を克服するためにこのパラダイムを拡張します。
近年,連合学習にトランスフォーマーを適用しようとする試みがいくつかある。
しかし,フェデレーション学習アルゴリズムが自己意識に与える影響は研究されていない。
本稿では,この関係を考察し,フェデレーション平均化アルゴリズムがデータ不均一性が存在する場合の自己注意に負の影響があることを明らかにする。
これらの影響は、連合学習設定におけるTransformerモデルの能力を制限する。
そこで我々は,トランスフォーマーをベースとした新しいフェデレーション学習フレームワークであるFedTPを提案し,クライアント間で他のパラメータを集約しながら,各クライアントのパーソナライズされた自己意識を学習する。
本研究では,各クライアントの個別の自己認識レイヤをローカルに維持するバニラパーソナライゼーション機構の代わりに,クライアント間の連携をさらに促進し,FedTPの可視性と一般化を高めるための学習・個人化機構を開発する。
具体的には、サーバ上でハイパーネットワークを学習し、自己アテンションレイヤのパーソナライズされたプロジェクション行列を出力し、クライアントワイズクエリ、キー、値を生成することにより、学習対個人化を実現する。
さらに,FedTPの一般化を学習対個人化機構を用いて提案する。
特にfeedtpは、同じフェデレーションされたネットワークアーキテクチャを使用して、さまざまなイメージや言語タスクを実行するための便利な環境を提供します。
大規模な実験により、FedTPは非IIDシナリオで最先端の性能が得られることが検証された。
私たちのコードはオンラインで入手できる。
関連論文リスト
- Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:20:30Z) - FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity [82.5448598805968]
我々は、フェデレートされたパーソナライズされたプライバシフレンドリーなネットワークプルーニングを表現する、効果的で適応可能なフェデレーションフレームワークであるFedP3を提案する。
我々は、FedP3とその局所微分プライベート変種DP-FedP3の理論解釈を提供し、それらの効率を理論的に検証する。
論文 参考訳（メタデータ） (2024-04-15T14:14:05Z) - PeFLL: Personalized Federated Learning by Learning to Learn [16.161876130822396]
PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。
PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
論文 参考訳（メタデータ） (2023-06-08T19:12:42Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - PaDPaF: Partial Disentanglement with Partially-Federated GANs [5.195669033269619]
フェデレーテッド・ラーニングは、多くの潜在的な現実のアプリケーションで人気のある機械学習パラダイムとなっている。
本研究では,グローバルクライアント非依存とローカルクライアント固有の生成モデルを組み合わせた新しいアーキテクチャを提案する。
提案モデルでは,グローバルな一貫した表現を暗黙的に切り離すことで,プライバシーとパーソナライゼーションを実現する。
論文 参考訳（メタデータ） (2022-12-07T18:28:54Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T08:32:08Z) - PerFED-GAN: Personalized Federated Learning via Generative Adversarial
Networks [46.17495529441229]
フェデレーション学習(Federated Learning)は、AI依存のIoTアプリケーションをデプロイするために使用できる分散機械学習手法である。
本稿では,協調学習とGANに基づく連合学習手法を提案する。
提案手法は,クライアントのモデルアーキテクチャとデータ分布が大きく異なる場合,既存手法の精度を平均42%向上させる。
論文 参考訳（メタデータ） (2022-02-18T12:08:46Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - PFA: Privacy-preserving Federated Adaptation for Effective Model
Personalization [6.66389628571674]
フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。
本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。
PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-02T08:07:34Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。