論文の概要: FedTiny: Pruned Federated Learning Towards Specialized Tiny Models
- arxiv url: http://arxiv.org/abs/2212.01977v1
- Date: Mon, 5 Dec 2022 01:58:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 15:48:13.790832
- Title: FedTiny: Pruned Federated Learning Towards Specialized Tiny Models
- Title（参考訳）: fedtiny: 専門的な小モデルに向けたフィード型フェデレーション学習
- Authors: Hong Huang, Lan Zhang, Chaoyue Sun, Ruogu Fang, Xiaoyong Yuan, Dapeng
Wu
- Abstract要約: 既存のプルーニングアプローチは、モデルのサイズ、効率、精度をトレードオフするトレーニングデータに大きく依存している。
我々はフェデレート学習のための新しい分散プルーニングフレームワークであるFedTinyを開発した。
FedTinyは最先端のベースラインアプローチよりも優れています。
- 参考スコア（独自算出の注目度）: 12.63559789381064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network pruning has been a well-established compression technique to
enable deep learning models on resource-constrained devices. The pruned model
is usually specialized to meet specific hardware platforms and training tasks
(defined as deployment scenarios). However, existing pruning approaches rely
heavily on training data to trade off model size, efficiency, and accuracy,
which becomes ineffective for federated learning (FL) over distributed and
confidential datasets. Moreover, the memory- and compute-intensive pruning
process of most existing approaches cannot be handled by most FL devices with
resource limitations. In this paper, we develop FedTiny, a novel distributed
pruning framework for FL, to obtain specialized tiny models for memory- and
computing-constrained participating devices with confidential local data. To
alleviate biased pruning due to unseen heterogeneous data over devices, FedTiny
introduces an adaptive batch normalization (BN) selection module to adaptively
obtain an initially pruned model to fit deployment scenarios. Besides, to
further improve the initial pruning, FedTiny develops a lightweight progressive
pruning module for local finer pruning under tight memory and computational
budgets, where the pruning policy for each layer is gradually determined rather
than evaluating the overall deep model structure. Extensive experimental
results demonstrate the effectiveness of FedTiny, which outperforms
state-of-the-art baseline approaches, especially when compressing deep models
to extremely sparse tiny models.
- Abstract（参考訳）: ニューラルネットワークのプルーニングは、リソースに制約のあるデバイス上でディープラーニングモデルを可能にする、確立された圧縮テクニックである。
prunedモデルは、通常、特定のハードウェアプラットフォームと(デプロイメントシナリオとして定義された)トレーニングタスクを満たすために特別です。
しかし、既存のプルーニングアプローチは、モデルのサイズ、効率、精度をトレードオフするトレーニングデータに大きく依存しており、分散および機密データセットよりもフェデレーション学習(FL)には効果がない。
さらに、既存のほとんどのアプローチのメモリおよび計算集約的なプルーニングプロセスは、リソース制限のあるほとんどのFLデバイスでは処理できない。
本稿では,FLの新しい分散プルーニングフレームワークであるFedTinyを開発し,秘密のローカルデータを持つメモリおよびコンピューティングに制約のある参加デバイスのための,特殊な小型モデルを得る。
デバイス上の不均一データによるバイアスドプルーニングを軽減するため、FedTinyは適応バッチ正規化(BN)選択モジュールを導入し、デプロイメントシナリオに適合する初期プルーニングモデルを適応的に取得する。
さらに、初期プルーニングをさらに改善するために、feedtinyは、タイトなメモリと計算予算の下で局所的なプルーニングのための軽量なプログレッシブプルーニングモジュールを開発し、全体的なディープモデル構造を評価するのではなく、各層に対するプルーニングポリシーを徐々に決定する。
FedTinyは最先端のベースラインアプローチよりも優れており、特に極小モデルに深層モデルを圧縮する場合に有効である。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳（メタデータ） (2023-11-13T17:55:07Z) - Soft Merging: A Flexible and Robust Soft Model Merging Approach for
Enhanced Neural Network Performance [6.599368083393398]
グラディエント(SGD)はしばしばモデル性能を改善するために局所最適化を収束させることに制限される。
エム・ソフト・マージング法は、望ましくない結果で得られた局所最適モデルを最小化する。
実験は、統合されたネットワークの有効性を裏付けるものである。
論文 参考訳（メタデータ） (2023-09-21T17:07:31Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Paoding: Supervised Robustness-preserving Data-free Neural Network
Pruning [3.6953655494795776]
エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。
従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。
提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
論文 参考訳（メタデータ） (2022-04-02T07:09:17Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳（メタデータ） (2021-07-07T08:02:00Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。