論文の概要: Exploiting Features and Logits in Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2210.15527v1
- Date: Thu, 27 Oct 2022 15:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 14:56:57.958944
- Title: Exploiting Features and Logits in Heterogeneous Federated Learning
- Title（参考訳）: ヘテロジニアスフェデレーション学習における特徴とロジットの活用
- Authors: Yun-Hin Chan, Edith C.-H. Ngai
- Abstract要約: フェデレーテッド・ラーニング(FL)は、エッジデバイスの管理を容易にすることで、共有モデルを協調的にトレーニングする。
本稿では,特徴量とロジットを管理することによって異種クライアントモデルをサポートする新しいデータフリーFL法を提案する。
Feloとは異なり、サーバはVeroに条件付きVAEを持ち、これは中レベルの機能をトレーニングし、ラベルに従って合成機能を生成するために使用される。
- 参考スコア（独自算出の注目度）: 0.2538209532048866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the rapid growth of IoT and artificial intelligence, deploying neural
networks on IoT devices is becoming increasingly crucial for edge intelligence.
Federated learning (FL) facilitates the management of edge devices to
collaboratively train a shared model while maintaining training data local and
private. However, a general assumption in FL is that all edge devices are
trained on the same machine learning model, which may be impractical
considering diverse device capabilities. For instance, less capable devices may
slow down the updating process because they struggle to handle large models
appropriate for ordinary devices. In this paper, we propose a novel data-free
FL method that supports heterogeneous client models by managing features and
logits, called Felo; and its extension with a conditional VAE deployed in the
server, called Velo. Felo averages the mid-level features and logits from the
clients at the server based on their class labels to provide the average
features and logits, which are utilized for further training the client models.
Unlike Felo, the server has a conditional VAE in Velo, which is used for
training mid-level features and generating synthetic features according to the
labels. The clients optimize their models based on the synthetic features and
the average logits. We conduct experiments on two datasets and show
satisfactory performances of our methods compared with the state-of-the-art
methods.
- Abstract（参考訳）: IoTと人工知能の急速な成長により、IoTデバイスにニューラルネットワークをデプロイすることが、エッジインテリジェンスにとってますます重要になっている。
フェデレーション学習(fl)は、トレーニングデータをローカルおよびプライベートに保持しながら、共有モデルを協調的にトレーニングするためのエッジデバイスの管理を促進する。
しかし、FLにおける一般的な仮定は、すべてのエッジデバイスが同じ機械学習モデルでトレーニングされているということである。
例えば、能力の低いデバイスは、通常のデバイスに適した大きなモデルを扱うのに苦労するため、更新プロセスが遅くなる可能性がある。
本稿では,feloと呼ばれる機能とロジットを管理することで異種クライアントモデルをサポートする新しいデータフリーfl手法と,veloと呼ばれる条件付きvaeをサーバにデプロイした拡張を提案する。
Feloは、クライアントモデルのさらなるトレーニングに使用される平均機能とログを提供するために、クラスラベルに基づいて、サーバのミドルレベルの機能とログを平均化します。
feloとは異なり、サーバはveloに条件付きvaeを持ち、中レベルの機能をトレーニングし、ラベルに従って合成機能を生成するために使用される。
クライアントは、合成機能と平均ロジットに基づいてモデルを最適化する。
2つのデータセットで実験を行い、最先端の手法と比較して、提案手法の良好な性能を示す。
関連論文リスト
- CRSFL: Cluster-based Resource-aware Split Federated Learning for Continuous Authentication [5.636155173401658]
分散学習(SL)とフェデレート学習(FL)は、分散機械学習(ML)モデルをトレーニングするための有望な技術として登場した。
我々はこれらの技術を組み合わせて、ユーザのプライバシーを保護しながら、継続的な認証課題に取り組むことを提案する。
論文 参考訳（メタデータ） (2024-05-12T06:08:21Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Speed Up Federated Learning in Heterogeneous Environment: A Dynamic
Tiering Approach [5.504000607257414]
フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。
FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。
本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
論文 参考訳（メタデータ） (2023-12-09T19:09:19Z) - Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating
Heterogeneous Lightweight Clients in IoT [34.128674870180596]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
pFedKnowは、ニューラルネットワークのプルーニング技術を用いて、軽量なパーソナライズされたクライアントモデルを生成し、通信コストを削減する。
画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2023-03-05T13:19:10Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Enhancing Efficiency in Multidevice Federated Learning through Data Selection [11.67484476827617]
マルチデバイス環境におけるフェデレーション学習(FL)は、膨大な量のプライベートデータから学習する新たな機会を生み出す。
本稿では、デバイス上のデータ選択を制約されたデバイスに組み込むためのFLフレームワークを開発する。
我々のフレームワークは,実装戦略のないベースラインFLと比較して,19%の精度,58%のレイテンシを実現している。
論文 参考訳（メタデータ） (2022-11-08T11:39:17Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Federated Learning-based Active Authentication on Mobile Devices [98.23904302910022]
モバイルデバイス上のユーザアクティブ認証は、デバイスセンサ情報に基づいて登録ユーザを正しく認識できるモデルを学ぶことを目的としている。
Federated Active Authentication (FAA) と呼ばれる新しいユーザーアクティブ認証トレーニングを提案します。
既存のFL/SL法は,同質に分散するデータに依存するため,FAAにとって最適ではないことを示す。
論文 参考訳（メタデータ） (2021-04-14T22:59:08Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。