論文の概要: Personalized Online Federated Learning with Multiple Kernels

• arxiv url: http://arxiv.org/abs/2311.05108v1
• Date: Thu, 9 Nov 2023 02:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:19:09.570753
• Title: Personalized Online Federated Learning with Multiple Kernels
• Title（参考訳）: 複数のカーネルによる個人化オンラインフェデレーション学習
• Authors: Pouya M. Ghari, Yanning Shen
• Abstract要約: フェデレートラーニング(Federated Learning)は、学習者のグループ(クライアントと呼ばれる)が、クライアント間で分散されたデータ上でMKLモデルをトレーニングすることを可能にする。 本稿では,クライアントがサーバと通信可能なアルゴリズムフレームワークを開発した。 提案したオンラインフェデレーションMKLアルゴリズムを用いて、各クライアントは、後から最高のカーネルのRF近似に関して、サブ線形後悔を享受する。
• 参考スコア（独自算出の注目度）: 26.823435733330705
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Multi-kernel learning (MKL) exhibits well-documented performance in online non-linear function approximation. Federated learning enables a group of learners (called clients) to train an MKL model on the data distributed among clients to perform online non-linear function approximation. There are some challenges in online federated MKL that need to be addressed: i) Communication efficiency especially when a large number of kernels are considered ii) Heterogeneous data distribution among clients. The present paper develops an algorithmic framework to enable clients to communicate with the server to send their updates with affordable communication cost while clients employ a large dictionary of kernels. Utilizing random feature (RF) approximation, the present paper proposes scalable online federated MKL algorithm. We prove that using the proposed online federated MKL algorithm, each client enjoys sub-linear regret with respect to the RF approximation of its best kernel in hindsight, which indicates that the proposed algorithm can effectively deal with heterogeneity of the data distributed among clients. Experimental results on real datasets showcase the advantages of the proposed algorithm compared with other online federated kernel learning ones.
• Abstract（参考訳）: マルチカーネル学習(mkl)は、オンライン非線形関数近似においてよく文書化された性能を示す。 フェデレーション学習(federated learning)は、学習者グループ(クライアントと呼ばれる)が、クライアント間で分散されたデータに基づいてmklモデルをトレーニングし、オンラインの非線形関数近似を可能にする。 オンラインフェデレーションMKLには、対処すべき課題がいくつかある。 i) 通信効率,特に多数のカーネルが考慮されている場合 二 顧客間での不均一なデータ配信 本稿では,クライアントが大規模なカーネル辞書を使用する間,クライアントがサーバと通信し,手頃な通信コストで更新を送信するためのアルゴリズムフレームワークを開発する。 本稿では,ランダム特徴量(rf)近似を用いて,スケーラブルなオンラインフェデレートmklアルゴリズムを提案する。 提案したオンラインフェデレーションMKLアルゴリズムを用いることで,提案アルゴリズムがクライアント間で分散したデータの不均一性を効果的に扱えることを示す。 実データを用いた実験の結果,提案アルゴリズムの利点を他のオンラインフェデレーションカーネル学習法と比較した。

関連論文リスト

• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
  フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。 本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T17:46:37Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Graph-Aided Online Multi-Kernel Learning [12.805267089186533]
  本稿では, 良好な関数近似を提供する辞書から, データ駆動によるカーネルの選択について検討する。 カーネル間の類似性に基づいて、新しいフレームワークは、カーネルのサブセットの選択を支援するためにグラフを構築し、洗練する。 提案アルゴリズムは、最先端のグラフベースのオンラインMKL代替品と比較して、より厳密なサブ線形後悔を享受する。
  論文  参考訳（メタデータ） (2021-02-09T07:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。