論文の概要: GAS: Generative Activation-Aided Asynchronous Split Federated Learning

• arxiv url: http://arxiv.org/abs/2409.01251v2
• Date: Sat, 14 Dec 2024 03:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:49:14.137426
• Title: GAS: Generative Activation-Aided Asynchronous Split Federated Learning
• Title（参考訳）: GAS: アクティベーション支援型非同期フェデレーションラーニング
• Authors: Jiarong Yang, Yuan Liu,
• Abstract要約: Split Federated Learning (SFL)は、クライアントとサーバ間で共有モデルを分割し、協調的にトレーニングする。 最近のSFL研究は、クライアントからサーバへのアクティベーションとクライアント側モデルの同期送信を想定している。 本稿では,アクティベーションバッファとモデルバッファをサーバ上に埋め込んだ非同期SFLフレームワークについて考察する。
• 参考スコア（独自算出の注目度）: 4.826527560777905
• License:
• Abstract: Split Federated Learning (SFL) splits and collaboratively trains a shared model between clients and server, where clients transmit activations and client-side models to server for updates. Recent SFL studies assume synchronous transmission of activations and client-side models from clients to server. However, due to significant variations in computational and communication capabilities among clients, activations and client-side models arrive at server asynchronously. The delay caused by asynchrony significantly degrades the performance of SFL. To address this issue, we consider an asynchronous SFL framework, where an activation buffer and a model buffer are embedded on the server to manage the asynchronously transmitted activations and client-side models, respectively. Furthermore, as asynchronous activation transmissions cause the buffer to frequently receive activations from resource-rich clients, leading to biased updates of the server-side model, we propose Generative activations-aided Asynchronous SFL (GAS). In GAS, the server maintains an activation distribution for each label based on received activations and generates activations from these distributions according to the degree of bias. These generative activations are then used to assist in updating the server-side model, ensuring more accurate updates. We derive a tighter convergence bound, and our experiments demonstrate the effectiveness of the proposed method. The code is available at https://github.com/eejiarong/GAS.
• Abstract（参考訳）: Split Federated Learning (SFL)は、クライアントとサーバ間の共有モデルを分割し、協調的にトレーニングする。 最近のSFL研究は、クライアントからサーバへのアクティベーションとクライアント側モデルの同期送信を想定している。 しかし、クライアント間の計算能力と通信能力の大幅な変化により、アクティベーションとクライアント側モデルが非同期にサーバにやってくる。 非同期による遅延はSFLの性能を著しく低下させる。 この問題に対処するために,アクティベーションバッファとモデルバッファをサーバに埋め込んで,それぞれに非同期に送信されるアクティベーションとクライアント側モデルを管理する非同期SFLフレームワークを検討する。 さらに、非同期アクティベーション送信がリソース豊富なクライアントからのアクティベーションを頻繁に受信するので、サーバサイドモデルのバイアスのある更新につながるため、生成アクティベーション支援非同期SFL(GAS)を提案する。 GASでは、受信したアクティベーションに基づいて各ラベルのアクティベーション分布を保持し、バイアスの程度に応じてこれらの分布からアクティベーションを生成する。 これらの生成アクティベーションは、サーバサイドモデルの更新を支援し、より正確な更新を保証するために使用される。 より厳密な収束境界を導出し,提案手法の有効性を実証した。 コードはhttps://github.com/eejiarong/GAS.comで公開されている。

関連論文リスト

• Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients [4.6792910030704515]
  フェデレートラーニング(FL)システムは、複数のクライアントが単一のサーバで中間モデルの重みを同期的に交換することで、機械学習モデルを反復的にトレーニングすることができる。 このようなFLシステムのスケーラビリティは、同期通信によるサーバアイドル時間と、ひとつのサーバがボトルネックになるリスクの2つの要因によって制限することができる。 本稿では,完全に非同期な新しいFLアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:29:46Z)
• Asynchronous Byzantine Federated Learning [4.6792910030704515]
  フェデレートラーニング(FL)は、地理的に分散した一連のクライアントが、サーバを通じてモデルを集合的に訓練することを可能にする。 私たちのソリューションは、最初のビザンチン耐性および非同期FLアルゴリズムの1つである。 我々は、画像とテキストの両方のデータセットにおける最先端のアルゴリズムと比較して、ソリューションの性能を比較した。
  論文  参考訳（メタデータ） (2024-06-03T15:29:38Z)
• FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
  フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。 本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
  論文  参考訳（メタデータ） (2024-06-01T05:14:20Z)
• Towards Client Driven Federated Learning [7.528642177161784]
  私たちは、クライアントを駆動する新しいFLフレームワークであるクライアント駆動フェデレートラーニング(CDFL:Client-Driven Federated Learning)を紹介します。 CDFLでは、各クライアントは、ローカルにトレーニングされたモデルをサーバにアップロードし、ローカルタスクに合わせてカスタマイズされたモデルを受け取ることで、独立して非同期にモデルを更新する。
  論文  参考訳（メタデータ） (2024-05-24T10:17:49Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Blockchain-enabled Server-less Federated Learning [5.065631761462706]
  我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。 主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
  論文  参考訳（メタデータ） (2021-12-15T07:41:23Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。