論文の概要: Leveraging Foundation Models for Efficient Federated Learning in Resource-restricted Edge Networks

• arxiv url: http://arxiv.org/abs/2409.09273v1
• Date: Sat, 14 Sep 2024 02:54:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:38:57.132750
• Title: Leveraging Foundation Models for Efficient Federated Learning in Resource-restricted Edge Networks
• Title（参考訳）: 資源制限エッジネットワークにおける効果的なフェデレーション学習のための基礎モデルの導入
• Authors: S. Kawa Atapour, S. Jamal SeyedMohammadi, S. Mohammad Sheikholeslami, Jamshid Abouei, Konstantinos N. Plataniotis, Arash Mohammadi,
• Abstract要約: 本稿では,新しいフレームワーク,すなわちFederated Distilling Knowledge to Prompt(FedD2P)を提案する。 このフレームワークは、IoTデバイスの集約された知識をプロンプトジェネレータに蒸留して、凍ったFMを下流タスクに効率的に適応させる。 多様な画像分類データセットに対する実験により、FedD2Pはモデル性能の点でベースラインを上回っていることが示された。
• 参考スコア（独自算出の注目度）: 17.571552686063335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently pre-trained Foundation Models (FMs) have been combined with Federated Learning (FL) to improve training of downstream tasks while preserving privacy. However, deploying FMs over edge networks with resource-constrained Internet of Things (IoT) devices is under-explored. This paper proposes a novel framework, namely, Federated Distilling knowledge to Prompt (FedD2P), for leveraging the robust representation abilities of a vision-language FM without deploying it locally on edge devices. This framework distills the aggregated knowledge of IoT devices to a prompt generator to efficiently adapt the frozen FM for downstream tasks. To eliminate the dependency on a public dataset, our framework leverages perclass local knowledge from IoT devices and linguistic descriptions of classes to train the prompt generator. Our experiments on diverse image classification datasets CIFAR, OxfordPets, SVHN, EuroSAT, and DTD show that FedD2P outperforms the baselines in terms of model performance.
• Abstract（参考訳）: 最近、FM(Pre-trained Foundation Models)とFederated Learning(FL)が組み合わさって、プライバシーを維持しながら下流タスクのトレーニングを改善している。 しかし、リソース制約のあるIoT(Internet of Things)デバイスによるエッジネットワーク上のFMのデプロイは、あまり探索されていない。 本稿では、エッジデバイスにローカルにデプロイすることなく、視覚言語FMの堅牢な表現能力を活用するための新しいフレームワーク、フェデレート蒸留知識をPrompt(FedD2P)に提案する。 このフレームワークは、IoTデバイスの集約された知識をプロンプトジェネレータに蒸留して、凍ったFMを下流タスクに効率的に適応させる。 パブリックデータセットへの依存を排除するため、当社のフレームワークは、IoTデバイスからのクラスごとのローカル知識と、クラスの言語記述を活用して、プロンプトジェネレータをトレーニングする。 CIFAR,OxfordPets,SVHN,EuroSAT,DTDの多様な画像分類データセットに関する実験により,FedD2Pはモデル性能においてベースラインを上回っていることが示された。

関連論文リスト

• EdgeFM: Leveraging Foundation Model for Open-set Learning on the Edge [15.559604113977294]
  We propose EdgeFM, a novel edge-cloud collaborative system with open-set recognition capabilities。 EdgeFMは、エンドツーエンドのレイテンシを3.2倍に削減し、ベースラインと比較して34.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-11-18T06:40:39Z)
• The Role of Federated Learning in a Wireless World with Foundation Models [59.8129893837421]
  ファンデーションモデル(FM)は汎用人工知能(AI)モデルである。 現在、FMと連邦学習(FL)の相互作用の探索はまだ初期段階にある。 本稿では、FMが無線ネットワークよりもFLに適した範囲について検討し、その研究課題と機会について概観する。
  論文  参考訳（メタデータ） (2023-10-06T04:13:10Z)
• Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
  フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。 計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。 デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
  論文  参考訳（メタデータ） (2023-09-19T07:04:50Z)
• Towards Cooperative Federated Learning over Heterogeneous Edge/Fog Networks [49.19502459827366]
  フェデレートラーニング(FL)は、エッジ/フォグネットワーク上で機械学習(ML)モデルをトレーニングするための一般的なテクニックとして推奨されている。 FLの従来の実装は、ネットワーク間協力の可能性を大きく無視してきた。 我々は,デバイス・ツー・デバイス(D2D)とデバイス・ツー・サーバ(D2S)インタラクションに基づいて構築された協調的エッジ/フォグMLパラダイムである協調的連合学習(CFL)を提唱する。
  論文  参考訳（メタデータ） (2023-03-15T04:41:36Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Distributed Learning in Wireless Networks: Recent Progress and Future Challenges [170.35951727508225]
  次世代のワイヤレスネットワークは、エッジデバイスが収集するさまざまな種類のデータを分析する多くの機械学習ツールやアプリケーションを可能にする。 エッジデバイスが生データ交換なしでMLモデルを協調的にトレーニングできるようにする手段として,分散学習と推論技術が提案されている。 本稿では,ワイヤレスエッジネットワーク上で分散学習を効率的に効果的に展開する方法を包括的に研究する。
  論文  参考訳（メタデータ） (2021-04-05T20:57:56Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。