論文の概要: Resource-Aware Heterogeneous Federated Learning using Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2211.05716v1
• Date: Wed, 9 Nov 2022 09:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 14:37:14.817028
• Title: Resource-Aware Heterogeneous Federated Learning using Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索を用いた資源認識型ヘテロジニアスフェデレート学習
• Authors: Sixing Yu, Phuong Nguyen, Waqwoya Abebe, Justin Stanley, Pablo Munoz, Ali Jannesari
• Abstract要約: フェデレートラーニング(FL)は、分散およびプライバシ保護設定におけるAI/MLモデルのトレーニングに広く使用されている。 本稿ではこれらの課題に対処するため, underlineResource-underlineaware underlineLearning(RaFL)を提案する。 RaFLは、Neural Architecture Search(NAS)を使用して、リソースを意識したモデルをエッジデバイスに割り当て、知識抽出と融合による異種モデルアーキテクチャのデプロイメントを可能にする。
• 参考スコア（独自算出の注目度）: 0.689728655482787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is extensively used to train AI/ML models in distributed and privacy-preserving settings. Participant edge devices in FL systems typically contain non-independent and identically distributed~(Non-IID) private data and unevenly distributed computational resources. Preserving user data privacy while optimizing AI/ML models in a heterogeneous federated network requires us to address data heterogeneity and system/resource heterogeneity. Hence, we propose \underline{R}esource-\underline{a}ware \underline{F}ederated \underline{L}earning~(RaFL) to address these challenges. RaFL allocates resource-aware models to edge devices using Neural Architecture Search~(NAS) and allows heterogeneous model architecture deployment by knowledge extraction and fusion. Integrating NAS into FL enables on-demand customized model deployment for resource-diverse edge devices. Furthermore, we propose a multi-model architecture fusion scheme allowing the aggregation of the distributed learning results. Results demonstrate RaFL's superior resource efficiency compared to SoTA.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散およびプライバシ保護設定におけるAI/MLモデルのトレーニングに広く使用されている。 flシステムの参加者エッジデバイスは、通常、非独立で同一に分散した(非iid)プライベートデータと均一に分散した計算リソースを含んでいる。 ヘテロジニアスフェデレーションネットワークでai/mlモデルを最適化しながら、ユーザデータのプライバシを保護するには、データの異質性とシステム/リソースの異質性に対処する必要があります。 したがって、これらの課題に対処するために、 \underline{R}esource-\underline{a}ware \underline{F}ederated \underline{L}earning~(RaFL)を提案する。 RaFLはNeural Architecture Search~(NAS)を使用してエッジデバイスにリソース認識モデルを割り当て、知識抽出と融合による異種モデルアーキテクチャのデプロイメントを可能にする。 NASをFLに統合することで、リソースの異なるエッジデバイスに対してオンデマンドでカスタマイズされたモデルデプロイメントが可能になる。 さらに,分散学習結果の集約が可能なマルチモデルアーキテクチャ融合スキームを提案する。 その結果,SoTAに比べ,RaFLの資源効率は優れていた。

関連論文リスト

• Learnable Sparse Customization in Heterogeneous Edge Computing [27.201987866208484]
  異種フェデレート学習(FedLPS)のための学習可能なパーソナライズ・スパシフィケーションを提案する。 FedLPSは、局所データ表現におけるモデルユニットの重要性を学び、パーソナライズされたデータ特徴を正確に抽出するために、最小限の重要度に基づくスパースパターンを導出する。 実験により、FedLPSは精度とトレーニングコストにおいてステータスクオアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-10T06:14:31Z)
• FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing [14.938531944702193]
  局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。 FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。 FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
  論文  参考訳（メタデータ） (2024-02-13T16:30:30Z)
• Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity [14.313847382199059]
  Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。 Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
  論文  参考訳（メタデータ） (2023-12-20T19:11:19Z)
• AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems [24.013937378054074]
  Federated Learning (FL)は、データ共有なしで大規模分散クライアントの協調学習を可能にする。 モバイルコンピューティングシステムは、協調学習のために小さな低パフォーマンスモデルしか利用できない。 我々は、大規模な異種モバイルデバイスの協調訓練を適応的に行うために、モデル再組み立て戦略を用いる。
  論文  参考訳（メタデータ） (2023-11-23T14:42:43Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning [9.198799314774437]
  Federated Learning(FL)は、プライバシ保護による分散機械学習を提供し、プライベートデータを共有せずにエッジクライアントのモデルを最適化する。 ファンデーションモデル(FM)は、人工知能(AI)コミュニティにおいて、様々なタスクにまたがる例外的なパフォーマンスのために、注目を集めている。 本稿では、これらの課題に対処するため、リソース対応フェデレーション・ファンデーション・モデル(RaFFM)の適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-30T04:31:53Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
  プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。 異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。 本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
  論文  参考訳（メタデータ） (2022-01-03T16:49:33Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。