論文の概要: Online Federated Learning via Non-Stationary Detection and Adaptation
amidst Concept Drift
- arxiv url: http://arxiv.org/abs/2211.12578v1
- Date: Tue, 22 Nov 2022 20:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 13:47:17.070031
- Title: Online Federated Learning via Non-Stationary Detection and Adaptation
amidst Concept Drift
- Title（参考訳）: コンセプトドリフト中の非定常検出と適応によるオンラインフェデレート学習
- Authors: Bhargav Ganguly and Vaneet Aggarwal
- Abstract要約: フェデレート・ラーニング(Federated Learning、FL)は、人工知能研究の幅広い文脈における新興分野である。
FLの既存の文献は、主に定常的なデータ生成過程を前提としている。
本稿では,TildemathcalO (min sqrtLT, Deltafrac13Tfrac23 + sqrtT)$ textitdynamic regret for $T$ rounds with a underlying general convex loss function。
- 参考スコア（独自算出の注目度）: 39.12903814606534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an emerging domain in the broader context of
artificial intelligence research. Methodologies pertaining to FL assume
distributed model training, consisting of a collection of clients and a server,
with the main goal of achieving optimal global model with restrictions on data
sharing due to privacy concerns. It is worth highlighting that the diverse
existing literature in FL mostly assume stationary data generation processes;
such an assumption is unrealistic in real-world conditions where concept drift
occurs due to, for instance, seasonal or period observations, faults in sensor
measurements. In this paper, we introduce a multiscale algorithmic framework
which combines theoretical guarantees of \textit{FedAvg} and \textit{FedOMD}
algorithms in near stationary settings with a non-stationary detection and
adaptation technique to ameliorate FL generalization performance in the
presence of model/concept drifts. We present a multi-scale algorithmic
framework leading to $\Tilde{\mathcal{O}} ( \min \{ \sqrt{LT} ,
\Delta^{\frac{1}{3}}T^{\frac{2}{3}} + \sqrt{T} \})$ \textit{dynamic regret} for
$T$ rounds with an underlying general convex loss function, where $L$ is the
number of times non-stationary drifts occured and $\Delta$ is the cumulative
magnitude of drift experienced within $T$ rounds.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、人工知能研究の幅広い文脈における新たな領域である。
flに関する方法論は、プライバシの懸念によるデータ共有の制限を伴う最適なグローバルモデルを達成することを目的として、クライアントとサーバの集合からなる分散モデルトレーニングを想定している。
このような仮定は、例えば季節的または周期的な観測によって、センサ測定の欠陥によって概念ドリフトが起こる現実の状況では非現実的である。
本稿では, モデル/概念ドリフトの存在下でのFL一般化性能を改善するための非定常検出・適応技術と, 近接定常環境での \textit{FedAvg} と \textit{FedOMD} のアルゴリズムの理論的保証を組み合わせた, マルチスケールアルゴリズムフレームワークを提案する。
我々は,$\tilde{\mathcal{o}} ( \min \{ \sqrt{lt} , \delta^{\frac{1}{3}}t^{\frac{2}{3}} + \sqrt{t} \})$ \textit{dynamic regret} for $t$ rounds with 基底となる一般凸損失関数を持ち,$l$は非定常ドリフト回数であり$\delta$は$t$ラウンド内で経験されるドリフトの累積マグニチュードである。
関連論文リスト
- Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。
ディープラーニングによる異常検出が重要な方向として現れている。
エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文 参考訳（メタデータ） (2024-11-06T15:38:31Z) - FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。
我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。
我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
論文 参考訳（メタデータ） (2024-05-27T15:25:32Z) - On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。
本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
論文 参考訳（メタデータ） (2023-10-09T07:56:56Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。
特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。
コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文 参考訳（メタデータ） (2022-01-27T20:43:38Z) - FedLGA: Towards System-Heterogeneity of Federated Learning via Local
Gradient Approximation [21.63719641718363]
システム不均一なFL問題を定式化してFedLGAと呼ばれる新しいアルゴリズムを提案する。
複数のデータセットに対する総合的な実験の結果、FedLGAはシステム不均一性に対して現在のFLベンチマークよりも優れていた。
論文 参考訳（メタデータ） (2021-12-22T16:05:09Z) - Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic
Data Imputation [4.9831085918734805]
データ計算の欠如は長年の研究課題であり、現実世界のインテリジェント交通システムにとって重要な応用である。
テキストの時間変化を新たな正規化項として導入し,低ランク自動回帰テンソル補完(LATC)フレームワークを提案する。
本研究では,複数の実世界の交通データ集合について広範な数値実験を行い,LATCの有効性を実証した。
論文 参考訳（メタデータ） (2021-04-30T12:00:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。