論文の概要: A Communication-efficient Federated learning assisted by Central data:
Implementation of vertical training into Horizontal Federated learning
- arxiv url: http://arxiv.org/abs/2112.01039v2
- Date: Fri, 3 Dec 2021 09:23:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 12:25:05.300412
- Title: A Communication-efficient Federated learning assisted by Central data:
Implementation of vertical training into Horizontal Federated learning
- Title（参考訳）: 中央データによるコミュニケーション効率のよいフェデレーション学習:水平フェデレーション学習における垂直トレーニングの実装
- Authors: Shuo Wan, Jiaxun Lu, Pingyi Fan, Yunfeng Shao, Chenghui Peng, and
Khaled B. Letaief
- Abstract要約: フェデレートラーニング(FL)は、IoTで分散データセットでモデルを共同トレーニングするために登場した。
分散クライアント間の水平FLにおいて、中央機関はモデルアグリゲータとしてのみ機能し、そのグローバルな特徴を利用してモデルをさらに改善する。
本稿では,縦-水平連成学習(VHFL)プロセスを開発し,グローバルな特徴を,余分な通信ラウンドを伴わない縦-水平連成学習(VHFL)手法でエージェントと共有する。
- 参考スコア（独自算出の注目度）: 16.023049444744277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged to jointly train a model with distributed
data sets in IoT while avoiding the need for central data collection. Due to
limited observation range, such data sets can only reflect local information,
which limits the quality of trained models. In practical network, the global
information and local observations always coexist, which requires joint
consideration for learning to make reasonable policy. However, in horizontal FL
among distributed clients, the central agency only acts as a model aggregator
without utilizing its global features to further improve the model. This could
largely degrade the performance in some missions such as flow prediction, where
the global information could obviously enhance the accuracy. Meanwhile, such
global feature may not be directly transmitted to agents for data security.
Then how to utilize the global observation residing in the central agency while
protecting its safety rises up as an important problem in FL. In this paper, we
developed the vertical-horizontal federated learning (VHFL) process, where the
global feature is shared with the agents in a procedure similar to vertical FL
without extra communication rounds. Considering the delay and packet loss, we
analyzed its convergence in the network system and validated its performance by
experiments. The proposed VHFL could enhance the accuracy compared with the
horizontal FL while protecting the security of global data.
- Abstract（参考訳）: フェデレートラーニング(FL)は、中央データ収集の必要性を回避しつつ、IoT内の分散データセットでモデルを共同トレーニングするために登場した。
観測範囲が限られているため、そのようなデータセットは、訓練されたモデルの品質を制限するローカル情報のみを反映することができる。
実践的なネットワークでは、グローバル情報と局所的な観測は常に共存し、合理的な政策を学習するためには共同で検討する必要がある。
しかし、分散クライアント間の水平FLでは、中央機関がモデルアグリゲータとして機能し、そのグローバルな特徴を利用してモデルをさらに改善する。
これは、グローバル情報が明らかに精度を向上させるフロー予測のような、いくつかのミッションでのパフォーマンスを著しく低下させる可能性がある。
一方、このようなグローバル機能は、データセキュリティのためにエージェントに直接送信されない。
そして、その安全性を保ちながら、中央機関のグローバルな監視をいかに活用するかが、FLの重要な課題である。
そこで,本稿では,縦-水平共役学習 (vhfl) プロセスを開発した。このプロセスでは,追加のコミュニケーションラウンドを必要とせず,縦 fl と同様の手順でグローバル特徴をエージェントと共有する。
遅延とパケット損失を考慮し,ネットワークシステムの収束解析を行い,実験によりその性能を検証した。
提案したVHFLは,グローバルデータのセキュリティを保護しながら水平FLと比較して精度を向上させることができる。
関連論文リスト
- Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。
既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。
我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
論文 参考訳（メタデータ） (2024-06-13T19:28:08Z) - StatAvg: Mitigating Data Heterogeneity in Federated Learning for Intrusion Detection Systems [22.259297167311964]
フェデレートラーニング(FL)は、デバイスが生データを第三者に公開することなく、共同で機械学習(ML)またはディープラーニング(DL)モデルを構築することができる分散学習技術である。
プライバシー保護の性質から、FLはサイバーセキュリティの領域内で侵入検知システム(IDS)を構築するために広く注目を集めている。
FLにおけるローカルクライアントのデータ間で,非独立かつ同一の(非ID)分散機能を緩和する,統計的平均化(StatAvg)と呼ばれる有効な手法を提案する。
論文 参考訳（メタデータ） (2024-05-20T14:41:59Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy
Synthesizing Network [19.23943687834319]
フェデレートラーニング(FL)は、将来性のあるプライバシ保護分散機械学習フレームワークとして登場した。
我々は、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案し、Fed-FSNet(Fed-FSNet)を適切に設計し、非I.I.D.のオープンソース問題を軽減する。
論文 参考訳（メタデータ） (2022-08-21T18:40:51Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-06T11:51:47Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z) - Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。
一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。
本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文 参考訳（メタデータ） (2020-05-26T12:27:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。