論文の概要: Federated Learning While Providing Model as a Service: Joint Training
and Inference Optimization
- arxiv url: http://arxiv.org/abs/2312.12863v2
- Date: Thu, 21 Dec 2023 06:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 17:22:37.605516
- Title: Federated Learning While Providing Model as a Service: Joint Training
and Inference Optimization
- Title(参考訳): サービスとしてのモデル提供中のフェデレートラーニング:共同トレーニングと推論最適化
- Authors: Pengchao Han, Shiqiang Wang, Yang Jiao, Jianwei Huang
- Abstract要約: フェデレーション学習は、分散クライアント間のモデルのトレーニングを可能にする上で有益である。
既存の作業は、クライアントの限られたリソースの下でのモデルトレーニングと推論の共存を見落としている。
本稿では,クライアントにおける推論性能を最大化するために,モデルトレーニングと推論の協調最適化に焦点を当てる。
- 参考スコア(独自算出の注目度): 30.305956110710266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While providing machine learning model as a service to process users'
inference requests, online applications can periodically upgrade the model
utilizing newly collected data. Federated learning (FL) is beneficial for
enabling the training of models across distributed clients while keeping the
data locally. However, existing work has overlooked the coexistence of model
training and inference under clients' limited resources. This paper focuses on
the joint optimization of model training and inference to maximize inference
performance at clients. Such an optimization faces several challenges. The
first challenge is to characterize the clients' inference performance when
clients may partially participate in FL. To resolve this challenge, we
introduce a new notion of age of model (AoM) to quantify client-side model
freshness, based on which we use FL's global model convergence error as an
approximate measure of inference performance. The second challenge is the tight
coupling among clients' decisions, including participation probability in FL,
model download probability, and service rates. Toward the challenges, we
propose an online problem approximation to reduce the problem complexity and
optimize the resources to balance the needs of model training and inference.
Experimental results demonstrate that the proposed algorithm improves the
average inference accuracy by up to 12%.
- Abstract(参考訳): ユーザの推論要求を処理するサービスとしてマシンラーニングモデルを提供する一方で、オンラインアプリケーションは、新たに収集したデータを使用して、定期的にモデルをアップグレードすることができる。
フェデレーション学習(fl)は、データをローカルに保持しながら、分散クライアント間でモデルのトレーニングを可能にする上で有用である。
しかし、既存の研究は、クライアントの限られたリソースの下でのモデルトレーニングと推論の共存を見落としている。
本稿では,モデル学習と推論の同時最適化に着目し,クライアントの推論性能を最大化する。
このような最適化にはいくつかの課題がある。
最初の課題は、クライアントがFLに参加する場合、クライアントの推論性能を特徴づけることである。
この課題を解決するために,クライアント側のモデルフレッシュネスを定量化するための新しいモデルエイジ・オブ・モデル(aom)の概念を導入し,flのグローバルモデル収束誤差を推定性能の近似尺度として用いる。
第2の課題は、FLへの参加確率、モデルダウンロード確率、サービスレートなど、クライアントの決定間の密結合である。
課題に向けて,問題の複雑性を低減し,モデルトレーニングと推論の必要性のバランスをとるために資源を最適化するオンライン問題近似を提案する。
実験の結果,提案アルゴリズムは平均推定精度を最大12%向上することがわかった。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-08-26T11:10:54Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-21T20:12:27Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-05-04T12:21:34Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Stochastic Methods for AUC Optimization subject to AUC-based Fairness
Constraints [51.12047280149546]
公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。
フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。
フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-12-23T22:29:08Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳(メタデータ) (2021-01-18T07:19:08Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - An Efficiency-boosting Client Selection Scheme for Federated Learning
with Fairness Guarantee [36.07970788489]
フェデレートラーニング(Federated Learning)は、クライアントがモデルトレーニングをローカルに実行できるようにすることによって、プライバシ問題に対処する新たなパラダイムである。
クライアント選択ポリシーは、トレーニング効率、最終モデルの質、公平性の観点から、FLプロセスにとって重要なものです。
本稿では、Lyapunov最適化問題として保証されたクライアント選択の公平性をモデル化し、C2MABに基づくモデル交換時間推定法を提案する。
論文 参考訳(メタデータ) (2020-11-03T15:27:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。