論文の概要: Client Selection for Federated Bayesian Learning

• arxiv url: http://arxiv.org/abs/2212.05492v1
• Date: Sun, 11 Dec 2022 12:37:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 18:17:44.748835
• Title: Client Selection for Federated Bayesian Learning
• Title（参考訳）: フェデレートベイズ学習のためのクライアント選択
• Authors: Jiarong Yang, Yuan Liu, Rahif Kassab
• Abstract要約: 我々は,KSD(Kernelized Stein Discrepancy)とHilbert内積(HIP)に基づくDSVGDの選択方式を提案する。 各種学習課題やデータセットを用いて,モデル精度,収束速度,安定性の観点から,従来のスキームとの比較を行った。
• 参考スコア（独自算出の注目度）: 6.055038050790775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed Stein Variational Gradient Descent (DSVGD) is a non-parametric distributed learning framework for federated Bayesian learning, where multiple clients jointly train a machine learning model by communicating a number of non-random and interacting particles with the server. Since communication resources are limited, selecting the clients with most informative local learning updates can improve the model convergence and communication efficiency. In this paper, we propose two selection schemes for DSVGD based on Kernelized Stein Discrepancy (KSD) and Hilbert Inner Product (HIP). We derive the upper bound on the decrease of the global free energy per iteration for both schemes, which is then minimized to speed up the model convergence. We evaluate and compare our schemes with conventional schemes in terms of model accuracy, convergence speed, and stability using various learning tasks and datasets.
• Abstract（参考訳）: 分散スタイン変分勾配降下(distributed stein variational gradient descent、dsvgd)は、複数のクライアントが複数の非ランダムな粒子をサーバと通信して機械学習モデルを共同で訓練する、フェデレートベイズ学習のための非パラメトリック分散学習フレームワークである。 通信資源は限られているため、最も有益なローカル学習更新を持つクライアントを選択することで、モデルの収束と通信効率が向上する。 本稿では,KSD(Kernelized Stein Discrepancy)とHilbert Inner Product(HIP)に基づくDSVGDの選択手法を提案する。 我々は、両方のスキームの反復当たりのグローバル自由エネルギーの減少の上限を導出し、モデル収束をスピードアップするために最小化する。 様々な学習タスクとデータセットを用いて,モデル精度,収束速度,安定性の観点から,従来のスキームと比較した。

関連論文リスト

• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Structured Cooperative Learning with Graphical Model Priors [98.53322192624594]
  ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。 本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。 SCooLを評価し,既存の分散学習手法と比較した。
  論文  参考訳（メタデータ） (2023-06-16T02:41:31Z)
• Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
  フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。 本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。 我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
  論文  参考訳（メタデータ） (2022-08-19T17:57:32Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
  フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。 本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:57:11Z)
• ADDS: Adaptive Differentiable Sampling for Robust Multi-Party Learning [24.288233074516455]
  本稿では,多人数学習のための適応型微分可能サンプリングフレームワーク(ADDS)を提案する。 提案手法は,集中モデル収束を高速化しながら,局所的な計算と通信コストを大幅に削減する。
  論文  参考訳（メタデータ） (2021-10-29T03:35:15Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent [38.41707037232561]
  本稿では,非パラメトリック一般化ベイズ推論フレームワークDSVGDを提案する。 粒子数を変化させることで、DSVGDは粒子間通信負荷と通信ラウンド数との柔軟なトレードオフを可能にする。
  論文  参考訳（メタデータ） (2020-09-11T17:33:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。