論文の概要: Automatic Structured Pruning for Efficient Architecture in Federated Learning

• arxiv url: http://arxiv.org/abs/2411.01759v1
• Date: Mon, 04 Nov 2024 02:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:39:43.032649
• Title: Automatic Structured Pruning for Efficient Architecture in Federated Learning
• Title（参考訳）: フェデレート学習における効率的なアーキテクチャのための自動構造化プルーニング
• Authors: Thai Vu Nguyen, Long Bao Le, Anderson Avila,
• Abstract要約: フェデレートラーニング(FL)では、訓練はクライアントデバイス上で行われ、典型的には限られた計算資源とストレージ容量を持つ。 FLシステムに適した自動プルーニング方式を提案する。 当社のソリューションは,通信コストを最小化しながら,クライアントデバイスの効率を向上する。
• 参考スコア（独自算出の注目度）: 5.300811350105823
• License:
• Abstract: In Federated Learning (FL), training is conducted on client devices, typically with limited computational resources and storage capacity. To address these constraints, we propose an automatic pruning scheme tailored for FL systems. Our solution improves computation efficiency on client devices, while minimizing communication costs. One of the challenges of tuning pruning hyper-parameters in FL systems is the restricted access to local data. Thus, we introduce an automatic pruning paradigm that dynamically determines pruning boundaries. Additionally, we utilized a structured pruning algorithm optimized for mobile devices that lack hardware support for sparse computations. Experimental results demonstrate the effectiveness of our approach, achieving accuracy comparable to existing methods. Our method notably reduces the number of parameters by 89% and FLOPS by 90%, with minimal impact on the accuracy of the FEMNIST and CelebFaces datasets. Furthermore, our pruning method decreases communication overhead by up to 5x and halves inference time when deployed on Android devices.
• Abstract（参考訳）: フェデレートラーニング(FL)では、訓練はクライアントデバイス上で行われ、典型的には限られた計算資源とストレージ容量を持つ。 これらの制約に対処するために,FLシステムに適した自動プルーニング方式を提案する。 当社のソリューションは,通信コストを最小化しながら,クライアントデバイス上での計算効率を向上させる。 FLシステムにおけるプルーニングハイパーパラメータのチューニングの課題の1つは、ローカルデータへのアクセス制限である。 そこで本稿では,プルーニング境界を動的に決定する自動プルーニングパラダイムを提案する。 さらに,スパース計算のハードウェアサポートに欠けるモバイルデバイス向けに最適化された構造化プルーニングアルゴリズムを利用した。 実験の結果,既存の手法に匹敵する精度で提案手法の有効性が示された。 提案手法は,FEMNISTとCelebFacesデータセットの精度に最小限の影響を伴って,パラメータ数を89%削減し,FLOPSを90%削減する。 さらに,本手法では,Androidデバイス上での通信オーバヘッドを最大5倍に削減し,推論時間を半減する。

関連論文リスト

• A Web-Based Solution for Federated Learning with LLM-Based Automation [34.756818299081736]
  フェデレートラーニング(FL)は、分散デバイス間で協調的な機械学習に有望なアプローチを提供する。 我々は,フェデレート平均化(FedAvg)アルゴリズムをサポートするユーザフレンドリーなWebアプリケーションを開発した。 FLにおける意図に基づく自動化を、カスタマイズされたデータセットで訓練された微調整言語モデル(LLM)を用いて検討する。
  論文  参考訳（メタデータ） (2024-08-23T11:57:02Z)
• Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
  大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。 FoMosは微調整技術により、特定の下流タスクに適応する必要がある。 デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
  論文  参考訳（メタデータ） (2024-07-13T12:47:14Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
  ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。 現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。 本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T18:40:47Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous Edge Devices [20.52519915112099]
  我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。 実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-08T15:25:55Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。