論文の概要: FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning

• arxiv url: http://arxiv.org/abs/2302.13485v1
• Date: Mon, 27 Feb 2023 02:49:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 17:01:20.121130
• Title: FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning
• Title（参考訳）: FedCLIP:フェデレートラーニングにおけるCLIPの迅速な一般化とパーソナライズ
• Authors: Wang Lu, Xixu Hu, Jindong Wang, Xing Xie
• Abstract要約: 近年,プライバシ保護計算の新しいパラダイムとしてフェデレートラーニング(FL)が登場している。 FLはその実際のパフォーマンスを妨げる2つの重要な課題に直面している。 FLにおけるCLIPの迅速な一般化とパーソナライズを実現するためのFedCLIPを提案する。
• 参考スコア（独自算出の注目度）: 18.763298147996238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) has emerged as a new paradigm for privacy-preserving computation in recent years. Unfortunately, FL faces two critical challenges that hinder its actual performance: data distribution heterogeneity and high resource costs brought by large foundation models. Specifically, the non-IID data in different clients make existing FL algorithms hard to converge while the high resource costs, including computational and communication costs that increase the deployment difficulty in real-world scenarios. In this paper, we propose an effective yet simple method, named FedCLIP, to achieve fast generalization and personalization for CLIP in federated learning. Concretely, we design an attention-based adapter for the large model, CLIP, and the rest operations merely depend on adapters. Lightweight adapters can make the most use of pretrained model information and ensure models be adaptive for clients in specific tasks. Simultaneously, small-scale operations can mitigate the computational burden and communication burden caused by large models. Extensive experiments are conducted on three datasets with distribution shifts. Qualitative and quantitative results demonstrate that FedCLIP significantly outperforms other baselines (9% overall improvements on PACS) and effectively reduces computational and communication costs (283x faster than FedAVG). Our code will be available at: https://github.com/microsoft/PersonalizedFL.
• Abstract（参考訳）: フェデレーション学習(fl)は,近年,プライバシ保護計算の新しいパラダイムとして登場している。 残念ながら、FLはその実際のパフォーマンスを妨げる2つの重要な課題に直面している。 特に、異なるクライアントの非IIDデータは既存のFLアルゴリズムを収束させるのを難しくし、実際のシナリオでのデプロイメントの難しさを増大させる計算コストや通信コストを含む高いリソースコストがかかる。 本稿では,フェデレート学習におけるCLIPの迅速な一般化とパーソナライズを実現するために,FedCLIPという効果的かつシンプルな手法を提案する。 具体的には,大規模モデルであるCLIPのアテンションベースのアダプタを設計し,残りの操作はアダプタにのみ依存する。 軽量アダプタは事前訓練されたモデル情報を最大限活用し、特定のタスクにおいてモデルがクライアントに適応することを保証する。 同時に、大規模モデルによる計算負担と通信負担を軽減することができる。 分布シフトを伴う3つのデータセットに対して大規模な実験を行う。 定性的かつ定量的な結果は、FedCLIPが他のベースライン(PACS全体の9%の改善)を著しく上回り、計算と通信のコスト(FedAVGより283倍速い)を効果的に削減していることを示している。 私たちのコードは、https://github.com/microsoft/PersonalizedFL.comで利用可能です。

関連論文リスト

• TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency [0.0]
  TriplePlayはCLIPをアダプタとして統合し、さまざまなデータ分散に対するFLの適応性とパフォーマンスを向上させるフレームワークである。 シミュレーションの結果,TriplePlayはGPU使用コストを効果的に削減し,学習プロセスの高速化を実現し,通信オーバーヘッドの低減を図っている。
  論文  参考訳（メタデータ） (2024-09-09T06:04:42Z)
• Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
  フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。 しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。 本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:56Z)
• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• User-Centric Federated Learning: Trading off Wireless Resources for Personalization [18.38078866145659]
  フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。 FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。 本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。 提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-04-25T15:45:37Z)
• PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
  既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。 私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
  論文  参考訳（メタデータ） (2023-02-13T19:00:37Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Personalized Federated Learning via Maximizing Correlation with Sparse and Hierarchical Extensions [14.862798952297105]
  Federated Learning(FL)は、クライアントのプライベートデータを取得することなくグローバルモデルをトレーニングするための、協調的な機械学習技術である。 相関関係を最大化するpFedMacを用いた新しい個人化フェデレーション学習を提案する。 pFedMac は L2-norm 距離に基づくパーソナライズ手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-12T11:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。