論文の概要: Efficient and Private Federated Learning with Partially Trainable
Networks
- arxiv url: http://arxiv.org/abs/2110.03450v1
- Date: Wed, 6 Oct 2021 04:28:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:34:29.713901
- Title: Efficient and Private Federated Learning with Partially Trainable
Networks
- Title（参考訳）: 部分学習可能なネットワークによる効率的かつプライベートなフェデレーション学習
- Authors: Hakim Sidahmed, Zheng Xu, Ankush Garg, Yuan Cao, Mingqing Chen
- Abstract要約: 我々は、トレーニングプロセス全体において、モデルパラメータの一部を凍結する部分トレーニング可能なニューラルネットワークを活用することを提案する。
FedPT(Partially Trainable Neural Network)のフェデレート学習が,通信精度のトレードオフに優れた結果をもたらすことを実証的に示す。
このアプローチでは、より高速なトレーニング、メモリフットプリントの削減、強力な差分プライバシー保証のためのユーティリティも実現しています。
- 参考スコア（独自算出の注目度）: 8.813191488656527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is used for decentralized training of machine learning
models on a large number (millions) of edge mobile devices. It is challenging
because mobile devices often have limited communication bandwidth and local
computation resources. Therefore, improving the efficiency of federated
learning is critical for scalability and usability. In this paper, we propose
to leverage partially trainable neural networks, which freeze a portion of the
model parameters during the entire training process, to reduce the
communication cost with little implications on model performance. Through
extensive experiments, we empirically show that Federated learning of Partially
Trainable neural networks (FedPT) can result in superior communication-accuracy
trade-offs, with up to $46\times$ reduction in communication cost, at a small
accuracy cost. Our approach also enables faster training, with a smaller memory
footprint, and better utility for strong differential privacy guarantees. The
proposed FedPT method can be particularly interesting for pushing the
limitations of overparameterization in on-device learning.
- Abstract（参考訳）: フェデレーション学習は、エッジモバイルデバイスの大量(数百万)上での機械学習モデルの分散トレーニングに使用される。
モバイルデバイスは通信帯域やローカルな計算資源が限られているため、これは難しい。
したがって,フェデレート学習の効率性の向上は,スケーラビリティとユーザビリティに不可欠である。
本稿では,トレーニングプロセス全体においてモデルパラメータの一部が凍結される部分学習可能なニューラルネットワークを活用し,モデル性能にほとんど影響を与えない通信コストを削減することを提案する。
広範な実験を通じて、部分的に学習可能なニューラルネットワーク(fedpt)のフェデレート学習が、通信コストを最大46\times$まで低減し、少ない精度で優れた通信精度トレードオフをもたらすことを実証した。
私たちのアプローチは、メモリフットプリントを小さくして、より高速なトレーニングを可能にします。
提案手法はデバイス上での学習における過パラメータ化の限界を押し上げるために特に興味深い。
関連論文リスト
- Edge-assisted U-Shaped Split Federated Learning with Privacy-preserving
for Internet of Things [4.68267059122563]
本稿では,エッジサーバの高性能機能を活用した,エッジ支援型U-Shaped Split Federated Learning (EUSFL) フレームワークを提案する。
このフレームワークでは、フェデレートラーニング(FL)を活用し、データ保持者がデータを共有せずに協調的にモデルをトレーニングできるようにします。
また,データの特徴やラベルが復元攻撃に対して確実に耐えられるように,ラベルDPと呼ばれる新しいノイズ機構を提案する。
論文 参考訳（メタデータ） (2023-11-08T05:14:41Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Towards Federated Learning Under Resource Constraints via Layer-wise
Training and Depth Dropout [33.308067180286045]
クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。
我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。
また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
論文 参考訳（メタデータ） (2023-09-11T03:17:45Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳（メタデータ） (2022-09-14T00:48:37Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Partial Variable Training for Efficient On-Device Federated Learning [3.884530687475797]
本稿では,メモリ使用量と通信コストを削減するため,エッジデバイス上の少数の変数のみをトレーニングする「部分変数学習(PVT)」手法を提案する。
音声認識と2つの異なるデータセットのための2つの最先端ニューラルネットワークの実験によると、PVTはメモリ使用量を最大1.9$times$、通信コストを最大593$times$に削減できる。
論文 参考訳（メタデータ） (2021-10-11T20:57:06Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳（メタデータ） (2021-10-11T14:45:00Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。