論文の概要: Towards Federated Learning Under Resource Constraints via Layer-wise
Training and Depth Dropout
- arxiv url: http://arxiv.org/abs/2309.05213v1
- Date: Mon, 11 Sep 2023 03:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 13:58:05.336620
- Title: Towards Federated Learning Under Resource Constraints via Layer-wise
Training and Depth Dropout
- Title（参考訳）: 層間トレーニングと奥行きドロップアウトによる資源制約下での連合学習に向けて
- Authors: Pengfei Guo, Warren Richard Morningstar, Raviteja Vemulapalli, Karan
Singhal, Vishal M. Patel, Philip Andrew Mansfield
- Abstract要約: クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。
我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。
また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
- 参考スコア（独自算出の注目度）: 33.308067180286045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large machine learning models trained on diverse data have recently seen
unprecedented success. Federated learning enables training on private data that
may otherwise be inaccessible, such as domain-specific datasets decentralized
across many clients. However, federated learning can be difficult to scale to
large models when clients have limited resources. This challenge often results
in a trade-off between model size and access to diverse data. To mitigate this
issue and facilitate training of large models on edge devices, we introduce a
simple yet effective strategy, Federated Layer-wise Learning, to simultaneously
reduce per-client memory, computation, and communication costs. Clients train
just a single layer each round, reducing resource costs considerably with
minimal performance degradation. We also introduce Federated Depth Dropout, a
complementary technique that randomly drops frozen layers during training, to
further reduce resource usage. Coupling these two techniques enables us to
effectively train significantly larger models on edge devices. Specifically, we
reduce training memory usage by 5x or more in federated self-supervised
representation learning and demonstrate that performance in downstream tasks is
comparable to conventional federated self-supervised learning.
- Abstract（参考訳）: 多様なデータでトレーニングされた大規模機械学習モデルは、最近前例のない成功を収めている。
フェデレーション学習は、多くのクライアントに分散したドメイン固有のデータセットなど、アクセス不能なプライベートデータのトレーニングを可能にする。
しかし、クライアントが限られたリソースを持つ場合、連合学習を大規模モデルにスケールすることは困難である。
この課題は、しばしばモデルサイズと多様なデータへのアクセスのトレードオフをもたらす。
この問題を緩和し、エッジデバイス上での大規模モデルのトレーニングを容易にするために、クライアント毎のメモリ量、計算量、通信コストを同時に削減する、単純で効果的な戦略であるフェデレート層学習を導入する。
クライアントは各ラウンドで1層だけをトレーニングし、パフォーマンスの低下を最小限に抑えてリソースコストを大幅に削減します。
また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
これら2つのテクニックを結合することで、エッジデバイス上で大幅に大きなモデルを効果的にトレーニングすることができます。
具体的には,連合型自己教師付き表現学習におけるトレーニングメモリ使用量を5倍以上削減し,ダウンストリームタスクのパフォーマンスが従来の教師付き自己教師付き学習に匹敵することを示す。
関連論文リスト
- Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline
Pre-Training with Model Based Augmentation [59.899714450049494]
オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。
本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
論文 参考訳（メタデータ） (2023-12-15T14:49:41Z) - Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。
計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。
デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
論文 参考訳（メタデータ） (2023-09-19T07:04:50Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳（メタデータ） (2022-09-14T00:48:37Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳（メタデータ） (2021-10-11T14:45:00Z) - Efficient and Private Federated Learning with Partially Trainable
Networks [8.813191488656527]
我々は、トレーニングプロセス全体において、モデルパラメータの一部を凍結する部分トレーニング可能なニューラルネットワークを活用することを提案する。
FedPT(Partially Trainable Neural Network)のフェデレート学習が,通信精度のトレードオフに優れた結果をもたらすことを実証的に示す。
このアプローチでは、より高速なトレーニング、メモリフットプリントの削減、強力な差分プライバシー保証のためのユーティリティも実現しています。
論文 参考訳（メタデータ） (2021-10-06T04:28:33Z) - Federated Few-Shot Learning with Adversarial Learning [30.905239262227]
少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。
学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
論文 参考訳（メタデータ） (2021-04-01T09:44:57Z) - Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。
そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。
提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
論文 参考訳（メタデータ） (2020-12-24T19:34:56Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。