論文の概要: Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples

• arxiv url: http://arxiv.org/abs/2303.16270v2
• Date: Thu, 30 Mar 2023 00:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 16:00:30.734918
• Title: Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples
• Title（参考訳）: 重複サンプルを限定したコミュニケーション効率の高い垂直フェデレーション学習
• Authors: Jingwei Sun, Ziyue Xu, Dong Yang, Vishwesh Nath, Wenqi Li, Can Zhao, Daguang Xu, Yiran Chen, Holger R. Roth
• Abstract要約: 我々は,textbfone-shot VFLと呼ばれる垂直連合学習(VFL)フレームワークを提案する。 提案したフレームワークでは、クライアントはサーバと一度か数回だけ通信する必要があります。 提案手法は46.5%以上の精度向上と通信コストの330$times$の削減を実現している。
• 参考スコア（独自算出の注目度）: 34.576230628844506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a popular collaborative learning approach that enables clients to train a global model without sharing their local data. Vertical federated learning (VFL) deals with scenarios in which the data on clients have different feature spaces but share some overlapping samples. Existing VFL approaches suffer from high communication costs and cannot deal efficiently with limited overlapping samples commonly seen in the real world. We propose a practical vertical federated learning (VFL) framework called \textbf{one-shot VFL} that can solve the communication bottleneck and the problem of limited overlapping samples simultaneously based on semi-supervised learning. We also propose \textbf{few-shot VFL} to improve the accuracy further with just one more communication round between the server and the clients. In our proposed framework, the clients only need to communicate with the server once or only a few times. We evaluate the proposed VFL framework on both image and tabular datasets. Our methods can improve the accuracy by more than 46.5\% and reduce the communication cost by more than 330$\times$ compared with state-of-the-art VFL methods when evaluated on CIFAR-10. Our code will be made publicly available at \url{https://nvidia.github.io/NVFlare/research/one-shot-vfl}.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、クライアントがローカルデータを共有せずにグローバルモデルをトレーニングできる、一般的なコラボレーティブ学習アプローチである。 垂直連合学習(VFL)は、クライアント上のデータが異なる特徴空間を持つが、重複するサンプルを共有するシナリオを扱う。 既存のvflアプローチは高い通信コストを被り、現実世界で一般的に見られる重複したサンプルを効率的に処理できない。 本稿では,半教師付き学習に基づく通信ボトルネックとサンプル重複問題を同時に解決可能な,実用的な垂直フェデレート学習(vfl)フレームワークである \textbf{one-shot vfl}を提案する。 また,サーバとクライアント間の通信ラウンドを1回だけ行うことで,さらに精度を向上させるために, \textbf{few-shot vfl}を提案する。 提案するフレームワークでは,クライアントはサーバとの通信を1回,あるいは数回のみ行わなければなりません。 提案するVFLフレームワークを画像と表のデータセットの両方で評価する。 提案手法は, CIFAR-10で評価した場合, 精度を46.5\%以上向上し, 通信コストを330$\times$以上削減できる。 我々のコードは \url{https://nvidia.github.io/NVFlare/research/one-shot-vfl} で公開されます。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
  フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-03-18T09:45:58Z)
• Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating Heterogeneous Lightweight Clients in IoT [34.128674870180596]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 pFedKnowは、ニューラルネットワークのプルーニング技術を用いて、軽量なパーソナライズされたクライアントモデルを生成し、通信コストを削減する。 画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-03-05T13:19:10Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Inference-Time Personalized Federated Learning [17.60724466773559]
  推論時間 PFL (Inference-Time PFL) は、一連のクライアントでトレーニングされたモデルを、推論時に新しい未ラベルのクライアントで後で評価する必要がある場所である。 本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。 IT-PFL-HNは、特に新規クライアントが大きなドメインシフトを持つ場合、現在のFL法やPFL法よりも一般化されている。
  論文  参考訳（メタデータ） (2021-11-16T10:57:20Z)
• SemiFL: Communication Efficient Semi-Supervised Federated Learning with Unlabeled Clients [34.24028216079336]
  我々はSemiFLと呼ばれる新しいフェデレートラーニングフレームワークを提案する。 SemiFLでは、クライアントは完全にラベル付けされていないデータを持ち、サーバは少量のラベル付きデータを持っている。 学習性能を向上させるためのSemiFLの様々な効率的な戦略を実証する。
  論文  参考訳（メタデータ） (2021-06-02T19:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。