Fugu-MT 論文翻訳(概要): Federated Multi-Armed Bandits

論文の概要: Federated Multi-Armed Bandits

arxiv url: http://arxiv.org/abs/2101.12204v1
Date: Thu, 28 Jan 2021 18:59:19 GMT
ステータス: 処理完了
システム内更新日: 2021-01-31 17:58:18.336426
Title: Federated Multi-Armed Bandits
Title（参考訳）: Federated Multi-Armed Bandits
Authors: Chengshuai Shi and Cong Shen
Abstract要約: FMAB(Federated Multi-armed Bandits)は、教師付き学習において、FL(Federated Learning)フレームワークを並列化する新しいバンドイットパラダイムである。本稿では,FMABの一般的な枠組みを提案し,その上で2つの特定の帯域幅モデルについて検討する。やや意外なことに、順序-最適の後悔は、更新周期を慎重に選択したクライアントの数から独立して達成できることが示されています。
参考スコア（独自算出の注目度）: 18.95281057580889
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated multi-armed bandits (FMAB) is a new bandit paradigm that parallels the federated learning (FL) framework in supervised learning. It is inspired by practical applications in cognitive radio and recommender systems, and enjoys features that are analogous to FL. This paper proposes a general framework of FMAB and then studies two specific federated bandit models. We first study the approximate model where the heterogeneous local models are random realizations of the global model from an unknown distribution. This model introduces a new uncertainty of client sampling, as the global model may not be reliably learned even if the finite local models are perfectly known. Furthermore, this uncertainty cannot be quantified a priori without knowledge of the suboptimality gap. We solve the approximate model by proposing Federated Double UCB (Fed2-UCB), which constructs a novel "double UCB" principle accounting for uncertainties from both arm and client sampling. We show that gradually admitting new clients is critical in achieving an O(log(T)) regret while explicitly considering the communication cost. The exact model, where the global bandit model is the exact average of heterogeneous local models, is then studied as a special case. We show that, somewhat surprisingly, the order-optimal regret can be achieved independent of the number of clients with a careful choice of the update periodicity. Experiments using both synthetic and real-world datasets corroborate the theoretical analysis and demonstrate the effectiveness and efficiency of the proposed algorithms.
Abstract（参考訳）: federated multi-armed bandits(fmab)は、教師付き学習におけるfederated learning(fl)フレームワークと並行する新しいバンディットパラダイムである。認知無線やレコメンデーションシステムにおける実践的な応用にインスパイアされ、FLに類似した特徴を享受している。本稿では,fmabの汎用的枠組みを提案し,2種類のフェデレートバンディットモデルについて検討する。まず,不均質な局所モデルが未知分布から大域モデルのランダムな実現である近似モデルについて検討する。このモデルは、有限局所モデルが完全に知られているとしても、グローバルモデルは確実に学習されないため、クライアントサンプリングの新たな不確実性をもたらす。さらに、この不確実性は、サブオプティマティリティギャップの知識なしに優先度を定量化することはできません。我々は、腕とクライアントの両方のサンプリングの不確実性を考慮した新しい「二重 UCB」原理を構築するフェデレートダブル UCB (Fed2-UCB) を提案することにより、近似モデルを解く。通信コストを明示的に考慮しながら,O(log(T))の後悔を実現する上で,新たなクライアントを徐々に認めることが重要であることを示す。大域的バンディットモデルが異種局所モデルの正確な平均であるような正確なモデルは、特別の場合として研究される。やや意外なことに、順序-最適の後悔は、更新周期を慎重に選択したクライアントの数から独立して達成できることが示されています。合成データと実世界のデータの両方を用いた実験は、理論解析と提案アルゴリズムの有効性と効率を実証する。

関連論文リスト

Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文参考訳（メタデータ） (2023-10-12T19:07:58Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文参考訳（メタデータ） (2023-05-23T12:05:09Z)
Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
論文参考訳（メタデータ） (2023-05-18T05:58:24Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文参考訳（メタデータ） (2022-08-16T11:30:19Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
論文参考訳（メタデータ） (2021-12-02T16:50:57Z)
FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-09-04T01:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。