論文の概要: Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating Heterogeneous Lightweight Clients in IoT

• arxiv url: http://arxiv.org/abs/2303.02668v1
• Date: Sun, 5 Mar 2023 13:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 18:25:58.982111
• Title: Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating Heterogeneous Lightweight Clients in IoT
• Title（参考訳）: IoTにおける異種軽量クライアント集約のための知識強化半教師付きフェデレーションラーニング
• Authors: Jiaqi Wang, Shenglai Zeng, Zewei Long, Yaqing Wang, Houping Xiao, Fenglong Ma
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 pFedKnowは、ニューラルネットワークのプルーニング技術を用いて、軽量なパーソナライズされたクライアントモデルを生成し、通信コストを削減する。 画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 34.128674870180596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables multiple clients to train models collaboratively without sharing local data, which has achieved promising results in different areas, including the Internet of Things (IoT). However, end IoT devices do not have abilities to automatically annotate their collected data, which leads to the label shortage issue at the client side. To collaboratively train an FL model, we can only use a small number of labeled data stored on the server. This is a new yet practical scenario in federated learning, i.e., labels-at-server semi-supervised federated learning (SemiFL). Although several SemiFL approaches have been proposed recently, none of them can focus on the personalization issue in their model design. IoT environments make SemiFL more challenging, as we need to take device computational constraints and communication cost into consideration simultaneously. To tackle these new challenges together, we propose a novel SemiFL framework named pFedKnow. pFedKnow generates lightweight personalized client models via neural network pruning techniques to reduce communication cost. Moreover, it incorporates pretrained large models as prior knowledge to guide the aggregation of personalized client models and further enhance the framework performance. Experiment results on both image and text datasets show that the proposed pFedKnow outperforms state-of-the-art baselines as well as reducing considerable communication cost. The source code of the proposed pFedKnow is available at https://github.com/JackqqWang/pfedknow/tree/master.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は,複数のクライアントがローカルデータを共有せずに,協調的にモデルをトレーニング可能にする。 しかしながら、エンドユーザのIoTデバイスには、収集したデータを自動的にアノテートする機能がないため、クライアント側のラベル不足が問題になる。 flモデルを協調的にトレーニングするには、サーバに格納された少数のラベル付きデータしか使えません。 これは、フェデレーション学習、すなわち、semifl( labels-at-server semi-supervised federated learning)において、新しい、しかし実用的なシナリオである。 最近、いくつかのSemiFLアプローチが提案されているが、モデル設計におけるパーソナライズ問題に焦点を合わせることはできない。 IoT環境は、デバイス計算の制約と通信コストを同時に考慮する必要があるため、SemiFLをより困難にします。 これらの課題に共に取り組むために,我々はpFedKnowという新しいSemiFLフレームワークを提案する。 pFedKnowは、通信コストを削減するためにニューラルネットワークプルーニング技術を使用して、軽量なパーソナライズされたクライアントモデルを生成する。 さらに、事前訓練された大規模モデルを事前知識として取り入れ、パーソナライズされたクライアントモデルの集約をガイドし、フレームワークのパフォーマンスをさらに向上させる。 画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回り、通信コストを大幅に削減することが示された。 提案されたpFedKnowのソースコードはhttps://github.com/JackqqWang/pfedknow/tree/masterで入手できる。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
  フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。 クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。 本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
  論文  参考訳（メタデータ） (2023-07-29T02:35:37Z)
• Federated Learning of Shareable Bases for Personalization-Friendly Image Classification [54.72892987840267]
  FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。 具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。 また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
  論文  参考訳（メタデータ） (2023-04-16T20:19:18Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning [4.873569522869751]
  Federated Learning(FL)は、異種クライアントデバイス間で機械学習を行うためのフレームワークである。 クライアントがどの値を送信するかを"選択"する,より一般的な手順を提案する。 これにより、クライアントは小さなデータ依存スライスで操作できる。
  論文  参考訳（メタデータ） (2022-08-19T16:26:03Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Inference-Time Personalized Federated Learning [17.60724466773559]
  推論時間 PFL (Inference-Time PFL) は、一連のクライアントでトレーニングされたモデルを、推論時に新しい未ラベルのクライアントで後で評価する必要がある場所である。 本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。 IT-PFL-HNは、特に新規クライアントが大きなドメインシフトを持つ場合、現在のFL法やPFL法よりも一般化されている。
  論文  参考訳（メタデータ） (2021-11-16T10:57:20Z)
• SemiFL: Communication Efficient Semi-Supervised Federated Learning with Unlabeled Clients [34.24028216079336]
  我々はSemiFLと呼ばれる新しいフェデレートラーニングフレームワークを提案する。 SemiFLでは、クライアントは完全にラベル付けされていないデータを持ち、サーバは少量のラベル付きデータを持っている。 学習性能を向上させるためのSemiFLの様々な効率的な戦略を実証する。
  論文  参考訳（メタデータ） (2021-06-02T19:22:26Z)
• LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets [52.60094373289771]
  フェデレーション学習は、プライバシーを強化した、人気のある分散機械学習パラダイムである。 パーソナライズされたコミュニケーション効率の高いフェデレーション学習フレームワークであるLotteryFLを提案する。 LotteryFLはパーソナライズと通信コストの点で既存のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2020-08-07T20:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。