論文の概要: Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment

• arxiv url: http://arxiv.org/abs/2309.00864v1
• Date: Sat, 2 Sep 2023 08:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 00:34:20.410387
• Title: Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment
• Title（参考訳）: Equitable-FL:資源制約環境のための疎結合学習
• Authors: Indrajeet Kumar Sinha, Shekhar Verma, Krishna Pratap Singh
• Abstract要約: 本稿では,資源制約環境下でうまく機能する疎結合型学習法を提案する。 私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。 畳み込みニューラルネットワークのトレーニング実験の結果, 等価FLの有効性が検証された。
• 参考スコア（独自算出の注目度）: 10.980548731600116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Federated Learning, model training is performed across multiple computing devices, where only parameters are shared with a common central server without exchanging their data instances. This strategy assumes abundance of resources on individual clients and utilizes these resources to build a richer model as user's models. However, when the assumption of the abundance of resources is violated, learning may not be possible as some nodes may not be able to participate in the process. In this paper, we propose a sparse form of federated learning that performs well in a Resource Constrained Environment. Our goal is to make learning possible, regardless of a node's space, computing, or bandwidth scarcity. The method is based on the observation that model size viz a viz available resources defines resource scarcity, which entails that reduction of the number of parameters without affecting accuracy is key to model training in a resource-constrained environment. In this work, the Lottery Ticket Hypothesis approach is utilized to progressively sparsify models to encourage nodes with resource scarcity to participate in collaborative training. We validate Equitable-FL on the $MNIST$, $F-MNIST$, and $CIFAR-10$ benchmark datasets, as well as the $Brain-MRI$ data and the $PlantVillage$ datasets. Further, we examine the effect of sparsity on performance, model size compaction, and speed-up for training. Results obtained from experiments performed for training convolutional neural networks validate the efficacy of Equitable-FL in heterogeneous resource-constrained learning environment.
• Abstract（参考訳）: フェデレーション学習では、モデルトレーニングは複数のコンピュータデバイスで実行され、パラメータのみがデータインスタンスを交換することなく共通の中央サーバと共有される。 この戦略は個々のクライアントに豊富なリソースを想定し、これらのリソースを利用してユーザーモデルとしてよりリッチなモデルを構築する。 しかし、資源の豊富さの仮定に違反している場合、一部のノードがプロセスに参加できない場合、学習は不可能になる可能性がある。 本稿では,資源制約環境においてうまく機能する分散型フェデレーション学習を提案する。 私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。 この手法は, モデルサイズvizが資源不足を定義することに基づいて, 資源制約環境下でのモデルトレーニングにおいて, 精度に影響を与えることなくパラメータ数の削減が重要であることを示す。 この研究では、Lottery Ticket仮説を用いてモデルを段階的に分散し、リソース不足のノードが協調トレーニングに参加するように促す。 我々は、$MNIST$、$F-MNIST$、$CIFAR-10$ベンチマークデータセット、$Brain-MRI$データと$PlantVillage$データセットでEquitable-FLを検証する。 さらに,sparsityがパフォーマンス,モデルサイズコンパクト化,トレーニングのスピードアップに与える影響について検討した。 畳み込みニューラルネットワークの訓練実験の結果, 異種資源制約学習環境における等価FLの有効性が検証された。

関連論文リスト

• A Resource-Adaptive Approach for Federated Learning under Resource-Constrained Environments [22.038826059430242]
  本稿では,不均一な制約リソースを持つ複数のクライアントを対象とする,基礎的連合学習(FL)問題について検討する。 資源適応型非同期フェデレーション学習アルゴリズムであるFed-RAAを提案する。
  論文  参考訳（メタデータ） (2024-06-19T08:55:40Z)
• subMFL: Compatiple subModel Generation for Federated Learning in Device Heterogenous Environment [0.2796197251957244]
  フェデレートラーニング(FL)は、分散デバイスと異種デバイスを持つシステムで一般的に用いられる。 計算能力の異なる異種デバイスをFLプロセスに参加可能なモデル圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:49:34Z)
• FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。 我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。 我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
  論文  参考訳（メタデータ） (2024-05-27T15:25:32Z)
• Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
  フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。 計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。 デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
  論文  参考訳（メタデータ） (2023-09-19T07:04:50Z)
• Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
  Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。 トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。 本稿では,フェデレートラーニングのための並列適応器を提案する。
  論文  参考訳（メタデータ） (2023-02-06T17:30:33Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Network Aware Compute and Memory Allocation in Optically Composable Data Centres with Deep Reinforcement Learning and Graph Neural Networks [0.0]
  リソースを分離したデータセンタアーキテクチャは、データセンタ内でリソースをリモートにプールする手段を約束する。 データセンターネットワーク(DCN)における光スイッチング回路のバックボーンを用いて,これを実現する方法を示す。 本稿では, エンフディープ強化学習を用いて, 効率的なエンフネットワーク認識と, エンフトポロジ的にスケール可能なアロケーションポリシをエンドツーエンドに学習する方法を示す。
  論文  参考訳（メタデータ） (2022-10-26T09:46:50Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。