論文の概要: Digital Twin-Assisted Knowledge Distillation Framework for Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2303.06155v1
• Date: Fri, 10 Mar 2023 15:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 20:41:01.785801
• Title: Digital Twin-Assisted Knowledge Distillation Framework for Heterogeneous Federated Learning
• Title（参考訳）: 不均一なフェデレーション学習のためのデジタルツイン支援知識蒸留フレームワーク
• Authors: Xiucheng Wang, Nan Cheng, Longfei Ma, Ruijin Sun, Rong Chai, Ning Lu
• Abstract要約: 連合学習のための知識蒸留(KD)駆動学習フレームワークを提案する。 各ユーザは、オンデマンドでニューラルネットワークモデルを選択し、独自のプライベートデータセットを使用して、大きな教師モデルから知識を抽出することができる。 デジタルツイン(DT)は、コンピュータリソースが十分あるサーバ内のDTで教師モデルをトレーニングする方法である。
• 参考スコア（独自算出の注目度）: 14.003355837801879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, to deal with the heterogeneity in federated learning (FL) systems, a knowledge distillation (KD) driven training framework for FL is proposed, where each user can select its neural network model on demand and distill knowledge from a big teacher model using its own private dataset. To overcome the challenge of train the big teacher model in resource limited user devices, the digital twin (DT) is exploit in the way that the teacher model can be trained at DT located in the server with enough computing resources. Then, during model distillation, each user can update the parameters of its model at either the physical entity or the digital agent. The joint problem of model selection and training offloading and resource allocation for users is formulated as a mixed integer programming (MIP) problem. To solve the problem, Q-learning and optimization are jointly used, where Q-learning selects models for users and determines whether to train locally or on the server, and optimization is used to allocate resources for users based on the output of Q-learning. Simulation results show the proposed DT-assisted KD framework and joint optimization method can significantly improve the average accuracy of users while reducing the total delay.
• Abstract（参考訳）: 本稿では,フェデレーション学習(fl)システムにおける不均一性に対処するために,flのための知識蒸留(kd)駆動学習フレームワークを提案する。 リソース制限されたユーザデバイスにおいて、大きな教師モデルをトレーニングするという課題を克服するために、デジタルツイン(DT)は、十分なコンピューティングリソースを持つサーバ内のDTで教師モデルをトレーニングする方法を利用しています。 そして、モデルの蒸留の間、各ユーザーは物理エンティティまたはデジタルエージェントでモデルのパラメータを更新できる。 混合整数プログラミング(MIP)問題としてモデル選択とトレーニングオフロードとリソース割り当ての連立問題を定式化している。 この問題を解決するために、Qラーニングと最適化を共同で使用し、Qラーニングはユーザのモデルを選択し、ローカルかサーバでトレーニングするかを判断し、Qラーニングの出力に基づいてリソースを割り当てる。 シミュレーションの結果,提案するdt-assisted kdフレームワークとジョイント最適化手法は,総遅延を低減しつつ,ユーザの平均精度を大幅に向上できることがわかった。

関連論文リスト

• Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
  フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。 しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。 本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
  論文  参考訳（メタデータ） (2024-09-29T01:56:45Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Speed Up Federated Learning in Heterogeneous Environment: A Dynamic Tiering Approach [5.504000607257414]
  フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。 FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。 本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
  論文  参考訳（メタデータ） (2023-12-09T19:09:19Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Efficient Federated Learning for AIoT Applications Using Knowledge Distillation [2.5892786553124085]
  フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。 従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。 本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:40:42Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。