論文の概要: Boost Decentralized Federated Learning in Vehicular Networks by
Diversifying Data Sources
- arxiv url: http://arxiv.org/abs/2209.01750v1
- Date: Mon, 5 Sep 2022 04:01:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 15:25:32.168699
- Title: Boost Decentralized Federated Learning in Vehicular Networks by
Diversifying Data Sources
- Title（参考訳）: データソースの多様化による車載ネットワークの分散化学習の促進
- Authors: Dongyuan Su, Yipeng Zhou, Laizhong Cui
- Abstract要約: そこで本稿では,DFLにおけるデータソースの多様化を目的としたDFL-DDS(DFL with diversified Data Sources)アルゴリズムを提案する。
具体的には、各車両は状態ベクトルを保持し、そのモデルに対する各データソースの寄与重量を記録する。
DFLの収束を高めるために、車両は、その状態ベクトルのKL分散を最小化して、各データソースの集約重量を調整する。
- 参考スコア（独自算出の注目度）: 16.342217928468227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, federated learning (FL) has received intensive research because of
its ability in preserving data privacy for scattered clients to collaboratively
train machine learning models. Commonly, a parameter server (PS) is deployed
for aggregating model parameters contributed by different clients.
Decentralized federated learning (DFL) is upgraded from FL which allows clients
to aggregate model parameters with their neighbours directly. DFL is
particularly feasible for vehicular networks as vehicles communicate with each
other in a vehicle-to-vehicle (V2V) manner. However, due to the restrictions of
vehicle routes and communication distances, it is hard for individual vehicles
to sufficiently exchange models with others. Data sources contributing to
models on individual vehicles may not diversified enough resulting in poor
model accuracy. To address this problem, we propose the DFL-DDS (DFL with
diversified Data Sources) algorithm to diversify data sources in DFL.
Specifically, each vehicle maintains a state vector to record the contribution
weight of each data source to its model. The Kullback-Leibler (KL) divergence
is adopted to measure the diversity of a state vector. To boost the convergence
of DFL, a vehicle tunes the aggregation weight of each data source by
minimizing the KL divergence of its state vector, and its effectiveness in
diversifying data sources can be theoretically proved. Finally, the superiority
of DFL-DDS is evaluated by extensive experiments (with MNIST and CIFAR-10
datasets) which demonstrate that DFL-DDS can accelerate the convergence of DFL
and improve the model accuracy significantly compared with state-of-the-art
baselines.
- Abstract（参考訳）: 近年、分散学習(FL)は、分散クライアントのデータプライバシを保護し、機械学習モデルを協調的にトレーニングする能力のために、集中的な研究を受けている。
一般的に、パラメータサーバ(PS)は、異なるクライアントから提供されたモデルパラメータを集約するためにデプロイされる。
分散連合学習(DFL)はFLからアップグレードされ、クライアントはモデルパラメータを直接隣人と集約することができる。
dflは車両同士が車両間通信(v2v)方式で通信する車載ネットワークとして特に実現可能である。
しかし、車両の経路や通信距離が制限されているため、個々の車両がモデルと十分に交換することは困難である。
個々の車両のモデルに寄与するデータソースは、モデル精度が劣るほど多様化しない可能性がある。
そこで本研究では,DFLにおけるデータソースの多様化を目的としたDFL-DDSアルゴリズムを提案する。
具体的には、各車両は状態ベクトルを保持して各データソースのモデルへの寄与重みを記録する。
Kullback-Leibler (KL) は状態ベクトルの多様性を測定するために用いられる。
DFLの収束を高めるために、車両は状態ベクトルのKL分散を最小化し、各データソースの集約重量を調整し、そのデータソースの多様化効果を理論的に証明することができる。
最後に、DFL-DDSの優位性について、DFL-DDSがDFLの収束を加速し、最先端のベースラインと比較してモデル精度を大幅に向上できることを示す広範な実験(MNISTとCIFAR-10データセット)により評価する。
関連論文リスト
- MultiConfederated Learning: Inclusive Non-IID Data handling with Decentralized Federated Learning [1.2726316791083532]
Federated Learning (FL) は、機密性のある臨床機械学習のようなユースケースを可能にするための、顕著なプライバシ保護技術として登場した。
FLはデータを所有するリモートデバイスによってトレーニングされたモデルを集約することで動作する。
非IIDデータを扱うために設計された分散FLフレームワークであるMultiConfederated Learningを提案する。
論文 参考訳（メタデータ） (2024-04-20T16:38:26Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-08-15T13:29:14Z) - Tram-FL: Routing-based Model Training for Decentralized Federated
Learning [2.8558942410497066]
そこで我々は,ノード間で順次転送することで,グローバルモデルを段階的に洗練する新しいDFL手法であるTram-FLを提案する。
また、最小転送量でモデル精度を向上させることを目的とした最適経路選択のための動的モデルルーティングアルゴリズムも導入する。
MNIST, CIFAR-10, IMDbデータセットを用いた実験により, 提案したルーティングを用いたトラムFLが非IID条件下で高いモデル精度を実現することを示す。
論文 参考訳（メタデータ） (2023-08-09T07:51:07Z) - Communication Resources Constrained Hierarchical Federated Learning for
End-to-End Autonomous Driving [67.78611905156808]
本稿では,最適化に基づくコミュニケーションリソース制約付き階層型学習フレームワークを提案する。
その結果,提案したCRCHFLは収束速度を加速し,フェデレーション学習自律運転モデルの一般化を促進することがわかった。
論文 参考訳（メタデータ） (2023-06-28T12:44:59Z) - GPT-FL: Generative Pre-trained Model-Assisted Federated Learning [40.522864349440674]
GPT-FLは、生成学習モデル支援フェデレーション学習フレームワークである。
モデルテスト精度、通信効率、クライアントサンプリング効率の点で、最先端のFL法を一貫して上回ります。
論文 参考訳（メタデータ） (2023-06-03T22:57:59Z) - Asynchronous Federated Learning for Edge-assisted Vehicular Networks [7.624367655819205]
車両ネットワークは、訓練データを通じて車両がリアルタイムの車両アプリケーションをサポートすることを可能にする。
従来の連邦学習(FL)では、車両はローカルモデルを得るためにデータをローカルにトレーニングし、RSUにローカルモデルをアップロードしてグローバルモデルを更新する。
従来のFLは、グローバルモデルを同期的に更新する、すなわち、RSUはグローバルモデル更新のためにすべての車両がモデルをアップロードするのを待つ必要がある。
この問題を解決するためには非同期フェデレーション学習(AFL)を提案する必要がある。そこでは、RSUが車両からローカルモデルを受け取ると、グローバルモデルを更新する。
論文 参考訳（メタデータ） (2022-08-03T08:05:02Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。