論文の概要: Reducing Impacts of System Heterogeneity in Federated Learning using Weight Update Magnitudes

• arxiv url: http://arxiv.org/abs/2208.14808v1
• Date: Tue, 30 Aug 2022 00:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 13:38:45.299450
• Title: Reducing Impacts of System Heterogeneity in Federated Learning using Weight Update Magnitudes
• Title（参考訳）: 重み更新マグニチュードを用いたフェデレーション学習におけるシステム不均一性の低減
• Authors: Irene Wang
• Abstract要約: フェデレートされた学習により、機械学習モデルでは、各ハンドヘルドデバイス上でローカルにトレーニングできると同時に、ニューロンのアップデートをサーバと同期するのみである。 その結果、フェデレーション学習タスクのトレーニング時間は、いくつかの低パフォーマンスストラグラーデバイスによって予測される。 本研究では,その性能と精度のフィードバックに基づいて,トラグラーのサブモデルを動的に形成することにより,フェデレーション学習の性能ボトルネックを軽減することを目的とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread adoption of handheld devices have fueled rapid growth in new applications. Several of these new applications employ machine learning models to train on user data that is typically private and sensitive. Federated Learning enables machine learning models to train locally on each handheld device while only synchronizing their neuron updates with a server. While this enables user privacy, technology scaling and software advancements have resulted in handheld devices with varying performance capabilities. This results in the training time of federated learning tasks to be dictated by a few low-performance straggler devices, essentially becoming a bottleneck to the entire training process. In this work, we aim to mitigate the performance bottleneck of federated learning by dynamically forming sub-models for stragglers based on their performance and accuracy feedback. To this end, we offer the Invariant Dropout, a dynamic technique that forms a sub-model based on the neuron update threshold. Invariant Dropout uses neuron updates from the non-straggler clients to develop a tailored sub-models for each straggler during each training iteration. All corresponding weights which have a magnitude less than the threshold are dropped for the iteration. We evaluate Invariant Dropout using five real-world mobile clients. Our evaluations show that Invariant Dropout obtains a maximum accuracy gain of 1.4% points over state-of-the-art Ordered Dropout while mitigating performance bottlenecks of stragglers.
• Abstract（参考訳）: ハンドヘルドデバイスの普及は、新しいアプリケーションの急速な成長を促した。 これらの新しいアプリケーションのいくつかは、通常プライベートでセンシティブなユーザーデータをトレーニングするために機械学習モデルを使用している。 Federated Learningは、機械学習モデルを各ハンドヘルドデバイス上でローカルにトレーニングし、ニューロンのアップデートをサーバと同期させる。 これによりユーザのプライバシが向上する一方で、テクノロジのスケーリングとソフトウェアの進歩により、さまざまなパフォーマンス機能を備えたハンドヘルドデバイスが実現している。 これにより、フェデレーション学習タスクのトレーニング時間は、いくつかの低パフォーマンスストラグラーデバイスによって決定され、基本的にトレーニングプロセス全体のボトルネックとなる。 本研究では,その性能と精度のフィードバックに基づいて,トラグラーのサブモデルを動的に形成することにより,フェデレーション学習の性能ボトルネックを軽減することを目的とする。 この目的のために、ニューロンの更新しきい値に基づいてサブモデルを形成する動的手法であるinvariant dropoutを提案する。 invariant dropoutは、非ストラグラークライアントからのニューロン更新を使用して、トレーニングイテレーション毎に各ストラグラー用にカスタマイズされたサブモデルを開発する。 イテレーションのために、しきい値よりも桁違いに小さい対応する重みを全て落とします。 5つの実世界のモバイルクライアントを用いてInvariant Dropoutを評価する。 評価の結果, ストラグラーの性能ボトルネックを軽減しつつ, 最大精度を1.4%向上できることがわかった。

関連論文リスト

• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update [0.27309692684728615]
  Federated Dropoutはこの課題に対処するための一般的な戦略として登場した。 パラメータ更新によるフェデレーション学習(FedSPU)を提案する。 実験の結果,FedSPUはFederated Dropoutを平均7.57%の精度で上回った。
  論文  参考訳（メタデータ） (2024-03-18T04:31:38Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
  本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
  論文  参考訳（メタデータ） (2023-07-10T21:08:52Z)
• FLuID: Mitigating Stragglers in Federated Learning using Invariant Dropout [1.8262547855491458]
  Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。 結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。 Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。 Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
  論文  参考訳（メタデータ） (2023-07-05T19:53:38Z)
• Exploiting Features and Logits in Heterogeneous Federated Learning [0.2538209532048866]
  フェデレーテッド・ラーニング(FL)は、エッジデバイスの管理を容易にすることで、共有モデルを協調的にトレーニングする。 本稿では,特徴量とロジットを管理することによって異種クライアントモデルをサポートする新しいデータフリーFL法を提案する。 Feloとは異なり、サーバはVeroに条件付きVAEを持ち、これは中レベルの機能をトレーニングし、ラベルに従って合成機能を生成するために使用される。
  論文  参考訳（メタデータ） (2022-10-27T15:11:46Z)
• Applied Federated Learning: Architectural Design for Robust and Efficient Learning in Privacy Aware Settings [0.8454446648908585]
  古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。 データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。 差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
  論文  参考訳（メタデータ） (2022-06-02T00:30:04Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)
• MDLdroid: a ChainSGD-reduce Approach to Mobile Deep Learning for Personal Mobile Sensing [14.574274428615666]
  デバイス上でのディープラーニングの実行には、データのプライバシ保護や、モデルの堅牢性とアップデートの両方に対する低レイテンシ応答など、いくつかのメリットがある。 パーソナルモバイルセンシングアプリケーションは、主にユーザ固有であり、環境の影響を受けやすい。 我々は,デバイス上での協調学習を実現するために,新たな分散モバイルディープラーニングフレームワークであるMDLdroidを提案する。
  論文  参考訳（メタデータ） (2020-02-07T16:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。