論文の概要: SCAFFLSA: Quantifying and Eliminating Heterogeneity Bias in Federated
Linear Stochastic Approximation and Temporal Difference Learning
- arxiv url: http://arxiv.org/abs/2402.04114v1
- Date: Tue, 6 Feb 2024 16:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:05:10.673270
- Title: SCAFFLSA: Quantifying and Eliminating Heterogeneity Bias in Federated
Linear Stochastic Approximation and Temporal Difference Learning
- Title(参考訳): SCAFFLSA: 線形確率近似と時間差学習における不均一性バイアスの定量化と除去
- Authors: Paul Mangold, Sergey Samsonov, Safwan Labbi, Ilya Levin, Reda Alami,
Alexey Naumov, Eric Moulines
- Abstract要約: 異種エージェントを用いた局所訓練で導入されたバイアスを明示的に定量化する。
本稿では,FedLSAの新たな変種であるSCAFFLSAを提案する。
- 参考スコア(独自算出の注目度): 15.398826197774083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we perform a non-asymptotic analysis of the federated linear
stochastic approximation (FedLSA) algorithm. We explicitly quantify the bias
introduced by local training with heterogeneous agents, and investigate the
sample complexity of the algorithm. We show that the communication complexity
of FedLSA scales polynomially with the desired precision $\epsilon$, which
limits the benefits of federation. To overcome this, we propose SCAFFLSA, a
novel variant of FedLSA, that uses control variates to correct the bias of
local training, and prove its convergence without assumptions on statistical
heterogeneity. We apply the proposed methodology to federated temporal
difference learning with linear function approximation, and analyze the
corresponding complexity improvements.
- Abstract(参考訳): 本稿では,fedlsa(federated linear stochastic approximation)アルゴリズムの非漸近解析を行う。
異種エージェントを用いた局所学習で導入されたバイアスを明示的に定量化し,アルゴリズムの複雑さについて検討する。
我々は、FedLSAの通信複雑性が、フェデレーションの利点を制限する所望の精度$\epsilon$で多項式的にスケールすることを示した。
そこで我々は,FedLSAの新たな変種であるSCAFFLSAを提案し,制御変数を用いて局所学習のバイアスを補正し,その収束性を統計的不均一性の仮定なしで証明する。
本稿では,線形関数近似を用いた時間差分学習に提案手法を適用し,その複雑性改善を解析する。
関連論文リスト
- Nonparametric Automatic Differentiation Variational Inference with
Spline Approximation [7.5620760132717795]
複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。
広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。
実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
論文 参考訳(メタデータ) (2024-03-10T20:22:06Z) - Quantized Hierarchical Federated Learning: A Robust Approach to
Statistical Heterogeneity [3.8798345704175534]
本稿では,コミュニケーション効率に量子化を組み込んだ新しい階層型フェデレーション学習アルゴリズムを提案する。
最適性ギャップと収束率を評価するための包括的な分析フレームワークを提供する。
この結果から,本アルゴリズムはパラメータの範囲で常に高い学習精度を達成できることが判明した。
論文 参考訳(メタデータ) (2024-03-03T15:40:24Z) - Finite-Sample Analysis of the Temporal Difference Learning [19.41392852257322]
一般化された, インスタンスに依存しないステップサイズを持つ単純なアルゴリズムは, ほぼ最適分散とバイアス項を得るのに十分であることを示す。
本手法は, 線形近似のための洗練された誤差境界と, ランダム行列の積に対する新しい安定性結果に基づく。
論文 参考訳(メタデータ) (2023-10-22T12:37:25Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Reinforcement Learning with Function Approximation: From Linear to
Nonlinear [4.314956204483073]
本稿では,線形あるいは非線形近似設定における強化学習アルゴリズムの誤差解析に関する最近の結果についてレビューする。
近似誤差に関する諸特性について考察し、遷移確率と報酬関数に関する具体的条件について述べる。
論文 参考訳(メタデータ) (2023-02-20T00:31:18Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳(メタデータ) (2022-10-08T08:26:22Z) - Accelerated and instance-optimal policy evaluation with linear function
approximation [17.995515643150657]
既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。
我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
論文 参考訳(メタデータ) (2021-12-24T17:21:04Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳(メタデータ) (2020-03-27T05:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。