論文の概要: CoBo: Collaborative Learning via Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2409.05539v1
- Date: Mon, 9 Sep 2024 11:59:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 14:50:09.482660
- Title: CoBo: Collaborative Learning via Bilevel Optimization
- Title（参考訳）: CoBo: 双方向最適化による協調学習
- Authors: Diba Hashemi, Lie He, Martin Jaggi,
- Abstract要約: 協調学習は、複数のクライアント間のコミュニケーションを有効にすることで、複数のクライアントをより効果的に訓練するための重要なツールである。
本稿では,クライアント選択とモデル学習を2つの相互接続最適化問題としてモデル化する。
本稿では,これらの問題を理論的収束保証で効率的に処理する,スケーラブルで柔軟なSGD型交互最適化アルゴリズムであるCoBoを紹介する。
- 参考スコア（独自算出の注目度）: 36.8801794168583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collaborative learning is an important tool to train multiple clients more effectively by enabling communication among clients. Identifying helpful clients, however, presents challenging and often introduces significant overhead. In this paper, we model client-selection and model-training as two interconnected optimization problems, proposing a novel bilevel optimization problem for collaborative learning. We introduce CoBo, a scalable and elastic, SGD-type alternating optimization algorithm that efficiently addresses these problem with theoretical convergence guarantees. Empirically, CoBo achieves superior performance, surpassing popular personalization algorithms by 9.3% in accuracy on a task with high heterogeneity, involving datasets distributed among 80 clients.
- Abstract（参考訳）: 協調学習は、複数のクライアント間のコミュニケーションを有効にすることで、複数のクライアントをより効果的に訓練するための重要なツールである。
しかし、役に立つクライアントを特定することは困難であり、しばしば大きなオーバーヘッドをもたらす。
本稿では,2つの相互接続最適化問題として,クライアント選択とモデル学習をモデル化し,協調学習のための新しい二段階最適化問題を提案する。
本稿では,これらの問題を理論的収束保証で効率的に処理する,スケーラブルで柔軟なSGD型交互最適化アルゴリズムであるCoBoを紹介する。
実証的には、CoBoは、80のクライアントに分散したデータセットを含む、高い不均一性のあるタスクにおいて、一般的なパーソナライズアルゴリズムを9.3%の精度で上回り、優れたパフォーマンスを実現している。
関連論文リスト
- Decentralized Personalized Federated Learning [4.5836393132815045]
私たちは、パーソナライズされたモデルのトレーニングに適したコラボレータを選択する際に、各クライアントをガイドするコラボレーショングラフの作成に重点を置いています。
従来の手法とは違って,クライアントの欲求関係を考慮し,より粒度の細かい共同作業者を特定する。
これを実現するために,制約付きアルゴリズムを用いた二段階最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-10T17:58:48Z) - Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。
1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。
複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文 参考訳（メタデータ） (2024-05-22T12:27:24Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Serverless Federated AUPRC Optimization for Multi-Party Collaborative
Imbalanced Data Mining [119.89373423433804]
有効指標としてAUPRC(Area Under Precision-Recall)を導入した。
サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。
本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-06T06:51:32Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。
本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。
我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
論文 参考訳（メタデータ） (2022-01-10T05:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。