論文の概要: A Robust Federated Learning Framework for Undependable Devices at Scale
- arxiv url: http://arxiv.org/abs/2412.19991v1
- Date: Sat, 28 Dec 2024 03:28:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:04:18.893121
- Title: A Robust Federated Learning Framework for Undependable Devices at Scale
- Title（参考訳）: 大規模非依存デバイスのためのロバストなフェデレーション学習フレームワーク
- Authors: Shilong Wang, Jianchun Liu, Hongli Xu, Chunming Qiao, Huarong Deng, Qiuye Zheng, Jiantao Gong,
- Abstract要約: 統合学習システムでは、スマートフォンなどの多くのデバイスは、トレーニング中に(例えば、WiFiから頻繁に切断される)非依存であることが多い。
既存のFLフレームワークは、常に信頼できる環境を前提としており、信頼できないデバイスをトレーニングから除外している。
提案するFLUDEは,予測不可能な環境に効果的に対処する。
- 参考スコア（独自算出の注目度）: 24.28558003071587
- License:
- Abstract: In a federated learning (FL) system, many devices, such as smartphones, are often undependable (e.g., frequently disconnected from WiFi) during training. Existing FL frameworks always assume a dependable environment and exclude undependable devices from training, leading to poor model performance and resource wastage. In this paper, we propose FLUDE to effectively deal with undependable environments. First, FLUDE assesses the dependability of devices based on the probability distribution of their historical behaviors (e.g., the likelihood of successfully completing training). Based on this assessment, FLUDE adaptively selects devices with high dependability for training. To mitigate resource wastage during the training phase, FLUDE maintains a model cache on each device, aiming to preserve the latest training state for later use in case local training on an undependable device is interrupted. Moreover, FLUDE proposes a staleness-aware strategy to judiciously distribute the global model to a subset of devices, thus significantly reducing resource wastage while maintaining model performance. We have implemented FLUDE on two physical platforms with 120 smartphones and NVIDIA Jetson devices. Extensive experimental results demonstrate that FLUDE can effectively improve model performance and resource efficiency of FL training in undependable environments.
- Abstract（参考訳）: FL(Federated Learning)システムでは、スマートフォンなどの多くのデバイスは、トレーニング中に(例:WiFiから頻繁に切断される)耐え難い。
既存のFLフレームワークは、常に信頼できない環境を前提としており、信頼できないデバイスをトレーニングから除外している。
本稿では,不測の環境を効果的に扱うためのFLUDEを提案する。
まず、FLUDEは過去の行動の確率分布に基づいて機器の信頼性を評価する(例えば、トレーニングを成功させる可能性)。
この評価に基づいて、FLUDEは、トレーニングに高い信頼性を持つデバイスを適応的に選択する。
トレーニングフェーズ中のリソースの浪費を軽減するため、FLUDEは各デバイスにモデルキャッシュを保持し、非依存デバイスでのローカルトレーニングが中断した場合に、後続使用のための最新のトレーニング状態を維持する。
さらに、FLUDEは、グローバルモデルを機器のサブセットに任意に分配し、モデル性能を維持しながらリソースの浪費を著しく削減する安定化対応戦略を提案する。
我々は120台のスマートフォンとNVIDIA Jetsonデバイスを備えた2つの物理プラットフォームにFLUDEを実装した。
実験結果から,FLUDEはFLトレーニングのモデル性能と資源効率を効果的に向上できることが示された。
関連論文リスト
- Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - FlexTrain: A Dynamic Training Framework for Heterogeneous Devices
Environments [12.165263783903216]
FlexTrainは、トレーニングフェーズ中にさまざまなデバイスで利用可能な多様なストレージと計算リソースに対応するフレームワークである。
CIFAR-100データセットにおけるFlexTrainの有効性を示す。
論文 参考訳（メタデータ） (2023-10-31T13:51:13Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - FLuID: Mitigating Stragglers in Federated Learning using Invariant
Dropout [1.8262547855491458]
Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。
結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。
Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。
Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
論文 参考訳（メタデータ） (2023-07-05T19:53:38Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-26T08:13:22Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳（メタデータ） (2022-06-21T17:23:06Z) - FLAME: Federated Learning Across Multi-device Environments [9.810211000961647]
Federated Learning (FL)は、マシンラーニングモデルの分散トレーニングを可能にし、ユーザデバイス上の個人情報をプライベートに保持する。
ユーザ中心のFLAME学習手法であるFLAMEを提案する。
その結果,FLAMEはF-1スコアが4.8～33.8%,エネルギー効率が1.02～2.86倍,収束速度が2.02倍に向上した。
論文 参考訳（メタデータ） (2022-02-17T22:23:56Z) - FedHe: Heterogeneous Models and Communication-Efficient Federated
Learning [0.0]
フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。
本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
論文 参考訳（メタデータ） (2021-10-19T12:18:37Z) - FLaaS: Federated Learning as a Service [3.128267020893596]
我々は、サードパーティのアプリケーション協調モデル構築のさまざまなシナリオを可能にするシステムであるフェデレートラーニング・アズ・ア・サービス(FL)について紹介する。
概念実証として,携帯電話上で実装し,シミュレーションおよび実機における結果の実用的意味について議論する。
100台のデバイスで数時間で画像オブジェクト検出を行うアプリケーションにまたがる、ユニークなFLモデルやジョイントFLモデルの構築において、FLが実現可能であることを実証する。
論文 参考訳（メタデータ） (2020-11-18T15:56:22Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。