論文の概要: Exploiting Features and Logits in Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2210.15527v2
- Date: Tue, 08 Apr 2025 09:54:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-09 13:26:11.687466
- Title: Exploiting Features and Logits in Heterogeneous Federated Learning
- Title（参考訳）: 不均質なフェデレーションラーニングにおける爆発的特徴と論理
- Authors: Yun-Hin Chan, Edith C. -H. Ngai,
- Abstract要約: フェデレーテッド・ラーニング(FL)は、エッジデバイスの管理を容易にすることで、共有モデルを協調的にトレーニングする。
本稿では,特徴量とロジットを管理することによって異種クライアントモデルをサポートする新しいデータフリーFL法を提案する。
Feloとは異なり、サーバはVeroに条件付きVAEを持ち、これは中レベルの機能をトレーニングし、ラベルに従って合成機能を生成するために使用される。
- 参考スコア（独自算出の注目度）: 3.6371628922281305
- License:
- Abstract: Due to the rapid growth of IoT and artificial intelligence, deploying neural networks on IoT devices is becoming increasingly crucial for edge intelligence. Federated learning (FL) facilitates the management of edge devices to collaboratively train a shared model while maintaining training data local and private. However, a general assumption in FL is that all edge devices are trained on the same machine learning model, which may be impractical considering diverse device capabilities. For instance, less capable devices may slow down the updating process because they struggle to handle large models appropriate for ordinary devices. In this paper, we propose a novel data-free FL method that supports heterogeneous client models by managing features and logits, called Felo; and its extension with a conditional VAE deployed in the server, called Velo. Felo averages the mid-level features and logits from the clients at the server based on their class labels to provide the average features and logits, which are utilized for further training the client models. Unlike Felo, the server has a conditional VAE in Velo, which is used for training mid-level features and generating synthetic features according to the labels. The clients optimize their models based on the synthetic features and the average logits. We conduct experiments on two datasets and show satisfactory performances of our methods compared with the state-of-the-art methods.
- Abstract（参考訳）: IoTと人工知能の急速な成長により、IoTデバイスにニューラルネットワークをデプロイすることが、エッジインテリジェンスにとってますます重要になっている。
フェデレートラーニング(FL)は、エッジデバイスの管理において、ローカルとプライベートのトレーニングデータを維持しながら、共有モデルを協調的にトレーニングすることを容易にする。
しかし、FLにおける一般的な仮定は、すべてのエッジデバイスが同じ機械学習モデルでトレーニングされているということである。
例えば、能力の低いデバイスは、通常のデバイスに適した大きなモデルを扱うのに苦労するため、更新プロセスを遅くする可能性がある。
本稿では、Feloと呼ばれる機能とロジットを管理することによって、異種クライアントモデルをサポートする新しいデータフリーFL法と、Veloと呼ばれるサーバにデプロイされた条件付きVAEによる拡張を提案する。
Feloは、クライアントモデルのさらなるトレーニングに使用される平均機能とログを提供するために、クラスラベルに基づいて、サーバのミドルレベルの機能とログを平均化します。
Feloとは異なり、サーバはVeroに条件付きVAEを持ち、これは中レベルの機能をトレーニングし、ラベルに従って合成機能を生成するために使用される。
クライアントは、合成機能と平均ロジットに基づいてモデルを最適化する。
2つのデータセットで実験を行い、最先端の手法と比較して、提案手法の良好な性能を示す。
関連論文リスト
- CRSFL: Cluster-based Resource-aware Split Federated Learning for Continuous Authentication [5.636155173401658]
分散学習(SL)とフェデレート学習(FL)は、分散機械学習(ML)モデルをトレーニングするための有望な技術として登場した。
我々はこれらの技術を組み合わせて、ユーザのプライバシーを保護しながら、継続的な認証課題に取り組むことを提案する。
論文 参考訳（メタデータ） (2024-05-12T06:08:21Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Speed Up Federated Learning in Heterogeneous Environment: A Dynamic
Tiering Approach [5.504000607257414]
フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。
FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。
本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
論文 参考訳（メタデータ） (2023-12-09T19:09:19Z) - Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating
Heterogeneous Lightweight Clients in IoT [34.128674870180596]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
pFedKnowは、ニューラルネットワークのプルーニング技術を用いて、軽量なパーソナライズされたクライアントモデルを生成し、通信コストを削減する。
画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2023-03-05T13:19:10Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Enhancing Efficiency in Multidevice Federated Learning through Data Selection [11.67484476827617]
マルチデバイス環境におけるフェデレーション学習(FL)は、膨大な量のプライベートデータから学習する新たな機会を生み出す。
本稿では、デバイス上のデータ選択を制約されたデバイスに組み込むためのFLフレームワークを開発する。
我々のフレームワークは,実装戦略のないベースラインFLと比較して,19%の精度,58%のレイテンシを実現している。
論文 参考訳（メタデータ） (2022-11-08T11:39:17Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Federated Learning-based Active Authentication on Mobile Devices [98.23904302910022]
モバイルデバイス上のユーザアクティブ認証は、デバイスセンサ情報に基づいて登録ユーザを正しく認識できるモデルを学ぶことを目的としている。
Federated Active Authentication (FAA) と呼ばれる新しいユーザーアクティブ認証トレーニングを提案します。
既存のFL/SL法は,同質に分散するデータに依存するため,FAAにとって最適ではないことを示す。
論文 参考訳（メタデータ） (2021-04-14T22:59:08Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。