論文の概要: FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation

• arxiv url: http://arxiv.org/abs/2312.00102v3
• Date: Tue, 12 Dec 2023 13:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 20:04:54.726454
• Title: FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation
• Title（参考訳）: FedEmb: NetworkとFeature Embedding Aggregationを用いた垂直かつハイブリッドなフェデレーション学習アルゴリズム
• Authors: Fanfei Meng, Lele Zhang, Yu Chen, Yuxin Wang
• Abstract要約: Federated Learning(FL)は、分散クライアント上の機械学習モデルの分散トレーニングのための新興パラダイムである。 本稿では,垂直およびハイブリッド学習をモデル化するための一般化アルゴリズムであるFedEmbを提案する。 実験結果から,FedEmbは特徴分割と対象空間分散の両問題に対処する有効な方法であることがわかった。
• 参考スコア（独自算出の注目度）: 24.78757412559944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is an emerging paradigm for decentralized training of machine learning models on distributed clients, without revealing the data to the central server. The learning scheme may be horizontal, vertical or hybrid (both vertical and horizontal). Most existing research work with deep neural network (DNN) modelling is focused on horizontal data distributions, while vertical and hybrid schemes are much less studied. In this paper, we propose a generalized algorithm FedEmb, for modelling vertical and hybrid DNN-based learning. The idea of our algorithm is characterised by higher inference accuracy, stronger privacy-preserving properties, and lower client-server communication bandwidth demands as compared with existing work. The experimental results show that FedEmb is an effective method to tackle both split feature & subject space decentralized problems, shows 0.3% to 4.2% inference accuracy improvement with limited privacy revealing for datasets stored in local clients, and reduces 88.9 % time complexity over vertical baseline method.
• Abstract（参考訳）: フェデレートラーニング(FL)は、中央サーバにデータを公開せずに、分散クライアント上で機械学習モデルの分散トレーニングを行うための新興パラダイムである。 学習方式は水平、垂直またはハイブリッド(垂直と水平の両方)である。 ディープニューラルネットワーク(DNN)モデリングに関する既存の研究は、水平データ分布に重点を置いているが、垂直とハイブリッドのスキームはあまり研究されていない。 本稿では,垂直およびハイブリッドDNN学習のための一般化アルゴリズムであるFedEmbを提案する。 提案アルゴリズムの考え方は,既存の作業と比較して,推論精度の向上,プライバシー保護特性の向上,クライアントサーバ通信帯域幅の低減などが特徴である。 実験の結果,feedembは分割特徴量と対象空間分散問題の両方に有効な手法であり,ローカルクライアントに格納されたデータセットのプライバシーを明かすことなく,0.3%から4.2%の推論精度の向上を示し,垂直ベースライン法よりも88.9%の時間複雑性を低減した。

関連論文リスト

• Hybrid FedGraph: An efficient hybrid federated learning algorithm using graph convolutional neural network [13.786989442742588]
  フェデレートラーニング(Federated Learning)は、分散クライアント上の機械学習モデルの分散トレーニングのための新興パラダイムである。 クライアントのサブセットから特徴を学習しながら特徴共有情報をキャプチャするグラフ畳み込みニューラルネットワークを提案する。 また、データのプライバシを保ちながら、各クライアントのディープニューラルネットワークによって生成された機能を集約する、単純だが効果的なクラスタリングアルゴリズムも開発しています。
  論文  参考訳（メタデータ） (2024-04-15T04:02:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Graph Federated Learning Based on the Decentralized Framework [8.619889123184649]
  グラフフェデレーション学習は主に古典的なフェデレーション学習フレームワーク、すなわちクライアントサーバーフレームワークに基づいている。 グラフフェデレーション学習に分散フレームワークを導入する。 提案手法の有効性を検証するため,提案手法をFedAvg,Fedprox,GCFL,GCFL+と比較した。
  論文  参考訳（メタデータ） (2023-07-19T07:40:51Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• A Vertical Federated Learning Framework for Horizontally Partitioned Labels [12.433809611989155]
  既存の垂直連合学習法の多くは、少なくとも一方が全てのデータサンプルのラベルの完全なセットを保持しているという強い仮定を持っている。 既存の垂直統合学習手法は部分ラベルしか利用できないため、エンドツーエンドのバックプロパゲーションにおいてモデル更新が不十分になる可能性がある。 本稿では,すべての水平分割ラベルをフル活用してニューラルネットワークをプライバシ保護でトレーニングする,Cascade Vertical Federated Learning (CVFL) という,新しい縦型フェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-18T11:10:11Z)
• Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
  フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。 本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。 上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2021-06-17T12:30:40Z)
• Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [14.269800282001464]
  フェデレーションエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおいて、大きな通信遅延を低減する効果的なアプローチとして登場した。 FEELの新しい枠組み、すなわち半分散型フェデレーションエッジラーニング(SD-FEEL)について検討する。 異なるエッジクラスタにまたがるモデルアグリゲーションを可能にすることで、SD-FEELはトレーニングのレイテンシを低減できるFEELのメリットを享受できる。
  論文  参考訳（メタデータ） (2021-04-26T16:11:47Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。