論文の概要: Federated Pruning: Improving Neural Network Efficiency with Federated Learning

• arxiv url: http://arxiv.org/abs/2209.06359v1
• Date: Wed, 14 Sep 2022 00:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 12:56:57.382109
• Title: Federated Pruning: Improving Neural Network Efficiency with Federated Learning
• Title（参考訳）: Federated Pruning: フェデレーション学習によるニューラルネットワークの効率向上
• Authors: Rongmei Lin, Yonghui Xiao, Tien-Ju Yang, Ding Zhao, Li Xiong, Giovanni Motta, Fran\c{c}oise Beaufays
• Abstract要約: フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。 異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
• 参考スコア（独自算出の注目度）: 24.36174705715827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic Speech Recognition models require large amount of speech data for training, and the collection of such data often leads to privacy concerns. Federated learning has been widely used and is considered to be an effective decentralized technique by collaboratively learning a shared prediction model while keeping the data local on different clients devices. However, the limited computation and communication resources on clients devices present practical difficulties for large models. To overcome such challenges, we propose Federated Pruning to train a reduced model under the federated setting, while maintaining similar performance compared to the full model. Moreover, the vast amount of clients data can also be leveraged to improve the pruning results compared to centralized training. We explore different pruning schemes and provide empirical evidence of the effectiveness of our methods.
• Abstract（参考訳）: 自動音声認識モデルは、トレーニングのために大量の音声データを必要とし、そのようなデータの収集は、しばしばプライバシー上の懸念につながる。 フェデレーション学習は広く使われており、異なるクライアントデバイス上でデータをローカルに保ちながら共有予測モデルを協調的に学習することで、効果的な分散技術であると考えられている。 しかし、クライアントデバイス上の限られた計算資源と通信資源は、大規模モデルでは実用上困難である。 このような課題を克服するため,我々は,フェデレーション条件下での縮小モデルを訓練するためのフェデレートプルーニングを提案する。 さらに、膨大なクライアントデータを活用することで、集中トレーニングと比較して、刈り取り結果を改善することもできる。 異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout [33.308067180286045]
  クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。 我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。 また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
  論文  参考訳（メタデータ） (2023-09-11T03:17:45Z)
• Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
  会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。 本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
  論文  参考訳（メタデータ） (2023-08-07T03:34:01Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Decentralized Learning with Multi-Headed Distillation [12.90857834791378]
  プライベートデータによる分散学習は、機械学習の中心的な問題である。 本研究では, 個別の非IDデータを持つ複数のエージェントが相互に学習できる, 蒸留に基づく分散学習手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T21:01:43Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。