論文の概要: SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning

• arxiv url: http://arxiv.org/abs/2412.17150v1
• Date: Wed, 18 Dec 2024 19:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:08.750789
• Title: SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning
• Title（参考訳）: SplitFedZip: Split-Federated Learningにおけるデータ転送削減のための学習圧縮
• Authors: Chamani Shiranthika, Hadi Hadizadeh, Parvaneh Saeedi, Ivan V. Bajić,
• Abstract要約: SplitFederated(SplitFed)学習は、さまざまなドメインにわたる理想的な学習フレームワークです。 SplitFedZipは、SplitFed学習におけるデータ転送を減らすために学習圧縮を利用する新しい方法である。
• 参考スコア（独自算出の注目度）: 5.437298646956505
• License:
• Abstract: Federated Learning (FL) enables multiple clients to train a collaborative model without sharing their local data. Split Learning (SL) allows a model to be trained in a split manner across different locations. Split-Federated (SplitFed) learning is a more recent approach that combines the strengths of FL and SL. SplitFed minimizes the computational burden of FL by balancing computation across clients and servers, while still preserving data privacy. This makes it an ideal learning framework across various domains, especially in healthcare, where data privacy is of utmost importance. However, SplitFed networks encounter numerous communication challenges, such as latency, bandwidth constraints, synchronization overhead, and a large amount of data that needs to be transferred during the learning process. In this paper, we propose SplitFedZip -- a novel method that employs learned compression to reduce data transfer in SplitFed learning. Through experiments on medical image segmentation, we show that learned compression can provide a significant data communication reduction in SplitFed learning, while maintaining the accuracy of the final trained model. The implementation is available at: \url{https://github.com/ChamaniS/SplitFedZip}.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずにコラボレーティブモデルをトレーニングすることを可能にする。 スプリットラーニング(SL)では、モデルをさまざまな場所で分割的にトレーニングすることができる。 Split-Federated (SplitFed) 学習は、FLとSLの強みを組み合わせた、より最近のアプローチである。 SplitFedは、クライアントとサーバ間での計算のバランスを保ちながら、データのプライバシを保ちながら、FLの計算負担を最小限にする。 これにより、データプライバシが最重要視される医療分野において、さまざまな分野における理想的な学習フレームワークになります。 しかし、SplitFedネットワークは、レイテンシ、帯域幅の制約、同期オーバーヘッド、学習プロセス中に転送する必要がある大量のデータなど、数多くの通信課題に直面している。 本稿では,SplitFedZipを提案する。SplitFed学習におけるデータ転送を減らすために,学習圧縮を利用した新しい手法である。 医用画像のセグメンテーション実験により、学習した圧縮は、最終訓練モデルの精度を維持しつつ、SplitFed学習において重要なデータ通信の削減をもたらすことを示した。 実装は以下の通りである。 \url{https://github.com/ChamaniS/SplitFedZip}。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning [47.266470238551314]
  この記事では、ビジュアルトランスフォーマー(ViT)アーキテクチャのための分散学習ソリューションを模索する。 ViTはより大きなモデルサイズを持ち、計算コストがかかるため、連邦学習(FL)は不適当である。 そこで本稿では,元のスマッシュデータをランダムにパンチし,圧縮することで,CutSmashedデータの新しい形式を提案する。 我々は、CutSmashedデータを通信する、CutMixSLというViTのための新しいSLフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-01T07:00:30Z)
• Mixed Federated Learning: Joint Decentralized and Centralized Learning [10.359026922702142]
  フェデレーション学習(FL)は、分散されたプライバシに敏感なデータから学習を可能にする。 本稿では,コーディネートサーバで計算された損失項を付加した混合FLを提案する。
  論文  参考訳（メタデータ） (2022-05-26T22:22:15Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Differentially Private Label Protection in Split Learning [20.691549091238965]
  Split Learningは分散トレーニングフレームワークで、複数のパーティが分割されたデータ上で機械学習モデルを共同でトレーニングすることができる。 近年の研究では、分割学習の実装は、半正直な敵が簡単にラベルを再構築できる厳しいプライバシーリスクに悩まされていることが示されている。 提案するtextsfTPSL (Transcript Private Split Learning) は,差分プライバシーを保証する汎用的なグラデーションベース分割学習フレームワークである。
  論文  参考訳（メタデータ） (2022-03-04T00:35:03Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Vulnerability Due to Training Order in Split Learning [0.0]
  分割学習では、no-peekアルゴリズムと呼ばれる追加のプライバシー保護アルゴリズムを組み込むことができ、敵対攻撃に対して堅牢である。 すべてのクライアントのデータを使ってトレーニングされたモデルは、モデルをトレーニングするためのラウンドの初期に考慮されたクライアントのデータではうまく動作しないことを示している。 また、SplitFedv3アルゴリズムは、分割学習によって得られるプライバシーの利点を引き続き活用しながら、この問題を軽減することを実証する。
  論文  参考訳（メタデータ） (2021-03-26T06:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。