論文の概要: SplitGP: Achieving Both Generalization and Personalization in Federated
Learning
- arxiv url: http://arxiv.org/abs/2212.08343v1
- Date: Fri, 16 Dec 2022 08:37:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 15:56:01.056165
- Title: SplitGP: Achieving Both Generalization and Personalization in Federated
Learning
- Title(参考訳): SplitGP:フェデレートラーニングにおける一般化とパーソナライゼーションの両立
- Authors: Dong-Jun Han, Do-Yeon Kim, Minseok Choi, Christopher G. Brinton,
Jaekyun Moon
- Abstract要約: SplitGPは、リソース制約のあるクライアント間の効率的な推論のために、一般化とパーソナライズ機能をキャプチャする。
我々はSplitGPの収束挙動を解析的に解析し、全てのクライアントモデルが定常点に接近していることを明らかにする。
実験結果から, SplitGPは, 種々の分布外サンプルに対して, 推定時間, 試験精度において, 既存のベースラインよりも高い性能を示した。
- 参考スコア(独自算出の注目度): 31.105681433459285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A fundamental challenge to providing edge-AI services is the need for a
machine learning (ML) model that achieves personalization (i.e., to individual
clients) and generalization (i.e., to unseen data) properties concurrently.
Existing techniques in federated learning (FL) have encountered a steep
tradeoff between these objectives and impose large computational requirements
on edge devices during training and inference. In this paper, we propose
SplitGP, a new split learning solution that can simultaneously capture
generalization and personalization capabilities for efficient inference across
resource-constrained clients (e.g., mobile/IoT devices). Our key idea is to
split the full ML model into client-side and server-side components, and impose
different roles to them: the client-side model is trained to have strong
personalization capability optimized to each client's main task, while the
server-side model is trained to have strong generalization capability for
handling all clients' out-of-distribution tasks. We analytically characterize
the convergence behavior of SplitGP, revealing that all client models approach
stationary points asymptotically. Further, we analyze the inference time in
SplitGP and provide bounds for determining model split ratios. Experimental
results show that SplitGP outperforms existing baselines by wide margins in
inference time and test accuracy for varying amounts of out-of-distribution
samples.
- Abstract(参考訳): エッジAIサービスを提供する上での根本的な課題は、パーソナライズ(個々のクライアントへの)と一般化(データを見ること)を同時に実現する機械学習(ML)モデルの必要性である。
フェデレーション学習(fl)の既存の技術は、これらの目標の厳しいトレードオフに直面し、トレーニングと推論の間にエッジデバイスに大きな計算要件を課している。
本稿では、リソース制約のあるクライアント(例えば、モバイル/IoTデバイス)間での効率的な推論のために、一般化とパーソナライズ機能を同時にキャプチャできる新しい分割学習ソリューションSplitGPを提案する。
クライアント側モデルは、各クライアントのメインタスクに最適化された強力なパーソナライズ機能を持つように訓練され、サーバ側モデルは、すべてのクライアントのアウト・オブ・ディストリビューションタスクを処理するための強力な一般化機能を持つように訓練されています。
我々はSplitGPの収束挙動を解析的に解析し、全てのクライアントモデルが漸近的に定常点に近づくことを示した。
さらに、SplitGPにおける推定時間を分析し、モデル分割比を決定するためのバウンダリを提供する。
実験結果から, SplitGPは, 種々の分布外サンプルに対して, 推定時間と試験精度において, 既存のベースラインよりも高い性能を示した。
関連論文リスト
- How to Collaborate: Towards Maximizing the Generalization Performance in
Cross-Silo Federated Learning [12.86056968708516]
フェデレートクラスタリング(FL)は、プライバシを保存する分散学習フレームワークとして、鮮明な注目を集めている。
本研究では、クライアントがFLデータの後、モデルオーナーとなるクロスサイロFLに焦点を当てる。
我々は、より多くのトレーニングデータを持つ他のクライアントと協調することで、クライアントのパフォーマンスを改善できると定式化します。
論文 参考訳(メタデータ) (2024-01-24T05:41:34Z) - Cross-Silo Federated Learning Across Divergent Domains with Iterative
Parameter Alignment [5.568652047172666]
フェデレートラーニング(Federated Learning)は、リモートクライアント間で機械学習モデルをトレーニングする手法である。
我々は、共通の目的のために最適化されたNモデルを学ぶために、典型的な連合学習環境を再構築する。
この技術は、最先端のアプローチと比較して、様々なデータパーティションにおける競合的な結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-11-08T16:42:14Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳(メタデータ) (2023-07-05T11:58:58Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - Personalized Federated Learning by Structured and Unstructured Pruning
under Data Heterogeneity [3.291862617649511]
クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。
このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
論文 参考訳(メタデータ) (2021-05-02T22:10:46Z) - QuPeL: Quantized Personalization with Applications to Federated Learning [8.420943739336067]
本稿では,ヘテロジニアスクライアントとの協調学習を容易にするテキスト化・テキスト化flアルゴリズムを提案する。
パーソナライゼーションのために、クライアントはリソースに応じて異なる量子化パラメータを持つテキスト圧縮パーソナライゼーションモデルを学ぶことができます。
数値的に、量子化レベルを最適化することで性能が向上し、QuPeLがFedAvgとクライアントのローカルトレーニングの両方で不均一な環境で性能を向上することを示す。
論文 参考訳(メタデータ) (2021-02-23T16:43:51Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。