論文の概要: Asynchronous Federated Learning for Sensor Data with Concept Drift

• arxiv url: http://arxiv.org/abs/2109.00151v1
• Date: Wed, 1 Sep 2021 02:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 14:08:15.119004
• Title: Asynchronous Federated Learning for Sensor Data with Concept Drift
• Title（参考訳）: 概念ドリフトを用いたセンサデータの非同期フェデレーション学習
• Authors: Yujing Chen, Zheng Chai, Yue Cheng, Huzefa Rangwala
• Abstract要約: フェデレートラーニング(FL)では、複数の分散デバイスが共有モデルを共同でトレーニングする。 以前のFLアプローチのほとんどは、トレーニングプロセス中にデバイス上のデータが固定され、静止していると仮定している。 コンセプトドリフトは、既存のデータと今後のデータの間に矛盾があるため、学習プロセスを複雑にします。 本稿では,ローカルデバイス上でのドリフトを検知し,対処するための新しいアプローチであるFedConDを提案する。
• 参考スコア（独自算出の注目度）: 17.390098048134195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) involves multiple distributed devices jointly training a shared model without any of the participants having to reveal their local data to a centralized server. Most of previous FL approaches assume that data on devices are fixed and stationary during the training process. However, this assumption is unrealistic because these devices usually have varying sampling rates and different system configurations. In addition, the underlying distribution of the device data can change dynamically over time, which is known as concept drift. Concept drift makes the learning process complicated because of the inconsistency between existing and upcoming data. Traditional concept drift handling techniques such as chunk based and ensemble learning-based methods are not suitable in the federated learning frameworks due to the heterogeneity of local devices. We propose a novel approach, FedConD, to detect and deal with the concept drift on local devices and minimize the effect on the performance of models in asynchronous FL. The drift detection strategy is based on an adaptive mechanism which uses the historical performance of the local models. The drift adaptation is realized by adjusting the regularization parameter of objective function on each local device. Additionally, we design a communication strategy on the server side to select local updates in a prudent fashion and speed up model convergence. Experimental evaluations on three evolving data streams and two image datasets show that \model~detects and handles concept drift, and also reduces the overall communication cost compared to other baseline methods.
• Abstract（参考訳）: フェデレートラーニング(FL)では、複数の分散デバイスが、各参加者がローカルデータを集中サーバに公開することなく、共有モデルを共同でトレーニングする。 以前のFLアプローチのほとんどは、トレーニングプロセス中にデバイス上のデータが固定され、静止していると仮定している。 しかし、これらの装置は通常、サンプリングレートやシステム構成が異なるため、この仮定は現実的ではない。 さらに、デバイスデータの基盤となる分布は、概念ドリフトとして知られる時間とともに動的に変化する。 概念ドリフトは、既存のデータと今後のデータの間に矛盾があるため、学習プロセスを複雑にする。 チャンクベースやアンサンブル学習ベースの手法といった従来の概念ドリフトハンドリング手法は,ローカルデバイスの不均一性から,連合学習フレームワークでは適さない。 我々はFedConDという新しい手法を提案し、ローカルデバイス上でのドリフトの概念の検出と処理を行い、非同期FLにおけるモデルの性能への影響を最小限に抑える。 ドリフト検出戦略は、局所モデルの歴史的な性能を利用した適応機構に基づいている。 各局所装置上の目的関数の正則化パラメータを調整してドリフト適応を実現する。 さらに,サーバ側での通信戦略を設計し,ローカル更新を慎重な方法で選択し,モデルの収束を高速化する。 3つの進化するデータストリームと2つの画像データセットに関する実験的評価では、 \model~が概念ドリフトを検出して処理すると同時に、他のベースラインメソッドと比較して全体の通信コストも低減している。

関連論文リスト

• Federated Learning with MMD-based Early Stopping for Adaptive GNSS Interference Classification [4.674584508653125]
  フェデレートラーニング(FL)は、複数のデバイスがローカルサーバ上のデータを維持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,グローバルサーバ上でのモデルの重み付けと数ショット学習を用いたFL手法を提案する。 FLの模範的な応用は、グローバルナビゲーション衛星システム(GNSS)受信機からのスナップショットに基づいた干渉分類のために、高速道路に沿って機械学習モデルを編成することである。
  論文  参考訳（メタデータ） (2024-10-21T06:43:04Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• FLARE: Detection and Mitigation of Concept Drift for Federated Learning based IoT Deployments [2.7776688429637466]
  FLAREは、トレーニングデータを条件付きで転送し、エッジとセンサのエンドポイント間でモデルをデプロイする、軽量なデュアルスケジューリングFLフレームワークである。 固定間隔スケジューリング法と比較して,FLAREはエッジノードとセンサノード間で交換されるデータ量を大幅に削減できることを示す。 少なくとも16倍のレイテンシで、コンセプトドリフトを反応的に検出できる。
  論文  参考訳（メタデータ） (2023-05-15T10:09:07Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Unsupervised Unlearning of Concept Drift with Autoencoders [5.41354952642957]
  コンセプトドリフトは、将来のサンプルのデータストリームに影響を与えるデータ分散の変化を指す。 本稿では,世界レベルでの教師なしおよびモデルに依存しないドリフト適応手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T14:52:49Z)
• Event-Triggered Decentralized Federated Learning over Resource-Constrained Edge Devices [12.513477328344255]
  Federated Learning (FL)は分散機械学習(ML)のための技術である 従来のFLアルゴリズムでは、エッジで訓練されたモデルを中央サーバに定期的に送信して集約する。 我々は、デバイスが協調的なコンセンサス形成を通じてモデルアグリゲーションを行う完全分散FLのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-11-23T00:04:05Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。