論文の概要: SCAFFLSA: Quantifying and Eliminating Heterogeneity Bias in Federated
Linear Stochastic Approximation and Temporal Difference Learning
- arxiv url: http://arxiv.org/abs/2402.04114v1
- Date: Tue, 6 Feb 2024 16:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:05:10.673270
- Title: SCAFFLSA: Quantifying and Eliminating Heterogeneity Bias in Federated
Linear Stochastic Approximation and Temporal Difference Learning
- Title（参考訳）: SCAFFLSA: 線形確率近似と時間差学習における不均一性バイアスの定量化と除去
- Authors: Paul Mangold, Sergey Samsonov, Safwan Labbi, Ilya Levin, Reda Alami,
Alexey Naumov, Eric Moulines
- Abstract要約: 異種エージェントを用いた局所訓練で導入されたバイアスを明示的に定量化する。
本稿では,FedLSAの新たな変種であるSCAFFLSAを提案する。
- 参考スコア（独自算出の注目度）: 15.398826197774083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we perform a non-asymptotic analysis of the federated linear
stochastic approximation (FedLSA) algorithm. We explicitly quantify the bias
introduced by local training with heterogeneous agents, and investigate the
sample complexity of the algorithm. We show that the communication complexity
of FedLSA scales polynomially with the desired precision $\epsilon$, which
limits the benefits of federation. To overcome this, we propose SCAFFLSA, a
novel variant of FedLSA, that uses control variates to correct the bias of
local training, and prove its convergence without assumptions on statistical
heterogeneity. We apply the proposed methodology to federated temporal
difference learning with linear function approximation, and analyze the
corresponding complexity improvements.
- Abstract（参考訳）: 本稿では,fedlsa(federated linear stochastic approximation)アルゴリズムの非漸近解析を行う。
異種エージェントを用いた局所学習で導入されたバイアスを明示的に定量化し,アルゴリズムの複雑さについて検討する。
我々は、FedLSAの通信複雑性が、フェデレーションの利点を制限する所望の精度$\epsilon$で多項式的にスケールすることを示した。
そこで我々は,FedLSAの新たな変種であるSCAFFLSAを提案し,制御変数を用いて局所学習のバイアスを補正し,その収束性を統計的不均一性の仮定なしで証明する。
本稿では,線形関数近似を用いた時間差分学習に提案手法を適用し,その複雑性改善を解析する。
関連論文リスト
- Shuffled Linear Regression via Spectral Matching [6.24954299842136]
シャッフル線形回帰は線形変換を通じて潜在特徴を推定しようとする。
この問題は、従来の最小二乗法(LS)とLast Absolute Shrinkage and Selection Operator(LASSO)アプローチを拡張している。
置換を効率的に解決するスペクトルマッチング法を提案する。
論文 参考訳（メタデータ） (2024-09-30T16:26:40Z) - Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳（メタデータ） (2024-08-25T04:07:18Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:52:30Z) - Finite-Time Analysis of On-Policy Heterogeneous Federated Reinforcement Learning [8.632943870358627]
フェデレート強化学習(FRL)は、強化学習タスクのサンプル複雑性を低減するための有望なパラダイムとして登場した。
本稿では,線形関数近似を用いた新しいオンライン強化学習手法であるFedSARSAを紹介する。
我々は,FedSARSAが,不均一性のレベルに比例して,すべてのエージェントに対してほぼ最適のポリシーに収束することを示す。
論文 参考訳（メタデータ） (2024-01-27T02:43:45Z) - Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。
既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。
実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
論文 参考訳（メタデータ） (2023-11-02T06:09:24Z) - Fitted Value Iteration Methods for Bicausal Optimal Transport [4.459996749171579]
We developed a fit value iteration (FVI) method to compute bicausal optimal transport (OT)。
動的プログラミングの定式化に基づいて、FVIは関数クラスを採用し、二元関数の値関数を近似する。
本研究では, 適切な構造を持つ多層ニューラルネットワークが, サンプル複雑性証明に必要な重要な仮定を満たすことを実証する。
論文 参考訳（メタデータ） (2023-06-22T03:55:36Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Revisiting the Sample Complexity of Sparse Spectrum Approximation of
Gaussian Processes [60.479499225746295]
本稿では,ガウス過程に対して,パラメータ空間全体に対して同時に保持可能な保証付きスケーラブルな近似を導入する。
我々の近似は、スパーススペクトルガウス過程(SSGP)のための改良されたサンプル複雑性解析から得られる。
論文 参考訳（メタデータ） (2020-11-17T05:41:50Z) - Semi-analytic approximate stability selection for correlated data in
generalized linear models [3.42658286826597]
そこで本研究では,繰り返しのフィッティングを行なわずに安定選択を行うことのできる,新しい近似推論アルゴリズムを提案する。
このアルゴリズムは,情報理論の統計力学とベクトル近似メッセージパッシングの複製法に基づく。
数値実験により, このアルゴリズムは, 合成データと実世界のデータの両方に対して, 高速収束と高い近似精度を示すことを示した。
論文 参考訳（メタデータ） (2020-03-19T10:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。