論文の概要: C2A: Client-Customized Adaptation for Parameter-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2411.00311v1
• Date: Fri, 01 Nov 2024 02:07:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:41.111315
• Title: C2A: Client-Customized Adaptation for Parameter-Efficient Federated Learning
• Title（参考訳）: C2A: パラメータ効率の良いフェデレーション学習のためのクライアントカスタマイズ適応
• Authors: Yeachan Kim, Junho Kim, Wing-Lam Mok, Jun-Hyung Park, SangKeun Lee,
• Abstract要約: クライアント情報を条件付けしてクライアント固有のアダプタを生成する,新しいハイパーネットワークベースのFLフレームワークを提案する。 学習を通じてカスタマイズされた重みを生成するハイパーネットワークの有効性により、C2Aは共有モデルパラメータの有用性を最大化することができる。 FLシナリオにおけるC2Aの効率性と有効性の両方の観点から,総合的な評価結果がC2Aの優位性を支持した。
• 参考スコア（独自算出の注目度）: 21.914696641277054
• License:
• Abstract: Despite the versatility of pre-trained language models (PLMs) across domains, their large memory footprints pose significant challenges in federated learning (FL), where the training model has to be distributed between a server and clients. One potential solution to bypass such constraints might be the use of parameter-efficient fine-tuning (PEFT) in the context of FL. However, we have observed that typical PEFT tends to severely suffer from heterogeneity among clients in FL scenarios, resulting in unstable and slow convergence. In this paper, we propose Client-Customized Adaptation (C2A), a novel hypernetwork-based FL framework that generates client-specific adapters by conditioning the client information. With the effectiveness of the hypernetworks in generating customized weights through learning to adopt the different characteristics of inputs, C2A can maximize the utility of shared model parameters while minimizing the divergence caused by client heterogeneity. To verify the efficacy of C2A, we perform extensive evaluations on FL scenarios involving heterogeneity in label and language distributions. Comprehensive evaluation results clearly support the superiority of C2A in terms of both efficiency and effectiveness in FL scenarios.
• Abstract（参考訳）: ドメイン間での事前学習言語モデル(PLM)の汎用性にもかかわらず、その大きなメモリフットプリントは、サーバとクライアント間でトレーニングモデルを分散しなければならない、連邦学習(FL)において重大な課題を生じさせる。 このような制約を回避できる潜在的な解決策の1つは、FLの文脈でパラメータ効率の微調整(PEFT)を使用することかもしれない。 しかし、FLシナリオでは、典型的なPEFTはクライアント間の不均一性に苦しむ傾向にあり、不安定で収束が遅い。 本稿では、クライアント情報を条件付けしてクライアント固有のアダプタを生成する、新しいハイパーネットワークベースのFLフレームワークであるクライアントカスタマイズ適応(C2A)を提案する。 C2Aは、入力の異なる特徴を取り入れた学習を通じてカスタマイズされた重みの生成において、ハイパーネットワークの有効性により、クライアントの不均一性に起因するばらつきを最小限にしつつ、共有モデルパラメータの有用性を最大化することができる。 C2Aの有効性を検証するため,ラベルと言語分布の不均一性を含むFLシナリオについて広範囲に評価を行った。 FLシナリオにおけるC2Aの効率性と有効性の両方の観点から,総合的な評価結果がC2Aの優位性を支持した。

関連論文リスト

• Selective Knowledge Sharing for Personalized Federated Learning Under Capacity Heterogeneity [12.333226301343029]
  Pa3dFLは、容量不均一なモデル間で知識を分離し、選択的に共有することで、局所モデルの性能を向上させるために設計された新しいフレームワークである。 本研究では,Pa3dFLの有効性を評価するために,3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T02:59:25Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
  既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。 私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
  論文  参考訳（メタデータ） (2023-02-13T19:00:37Z)
• Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning [28.185096784982544]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。 我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。 実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
  論文  参考訳（メタデータ） (2022-12-19T14:19:07Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Combating Client Dropout in Federated Learning via Friend Model Substitution [8.325089307976654]
  Federated Learning(FL)は、データプライバシと通信効率のメリットで知られる、新たな分散機械学習フレームワークである。 本稿では,受動的部分的クライアント参加シナリオについて検討する。 我々は,データ配信に類似したクライアントの友人を検出する新しいアルゴリズムFL-FDMSを開発した。 MNISTとCIFAR-10の実験により、FL-FDMSのFLにおけるクライアントドロップアウト処理における優れた性能が確認された。
  論文  参考訳（メタデータ） (2022-05-26T08:34:28Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。