Fugu-MT 論文翻訳(概要): FedPIA -- Permuting and Integrating Adapters leveraging Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning

論文の概要: FedPIA -- Permuting and Integrating Adapters leveraging Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning

arxiv url: http://arxiv.org/abs/2412.14424v1
Date: Thu, 19 Dec 2024 00:24:00 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-20 13:33:44.395245
Title: FedPIA -- Permuting and Integrating Adapters leveraging Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning
Title（参考訳）: FedPIA -- マルチモーダル・フェデレート・ラーニングにおけるファウンデーションモデルのためのWasserstein Barycentersを活用したアダプタの置換と統合
Authors: Pramit Saha, Divyanshu Mishra, Felix Wagner, Konstantinos Kamnitsas, J. Alison Noble,
Abstract要約: FLとPEFTの単純な組み合わせを改善したFedPIAという新しいフレームワークを提案する。我々は、5つの異なる医療ビジョン言語FLタスク設定で48の医療画像データセットを用いて2000以上のクライアントレベルの実験を行う。実験の結果,FedPIAは最先端のPEFT-FLベースラインより一貫して優れていた。
参考スコア（独自算出の注目度）: 7.005516664708197
License:
Abstract: Large Vision-Language Models typically require large text and image datasets for effective fine-tuning. However, collecting data from various sites, especially in healthcare, is challenging due to strict privacy regulations. An alternative is to fine-tune these models on end-user devices, such as in medical clinics, without sending data to a server. These local clients typically have limited computing power and small datasets, which are not enough for fully fine-tuning large VLMs on their own. A naive solution to these scenarios is to leverage parameter-efficient fine-tuning (PEFT) strategies and apply federated learning (FL) algorithms to combine the learned adapter weights, thereby respecting the resource limitations and data privacy. However, this approach does not fully leverage the knowledge from multiple adapters trained on diverse data distributions and for diverse tasks. The adapters are adversely impacted by data heterogeneity and task heterogeneity across clients resulting in suboptimal convergence. To this end, we propose a novel framework called FedPIA that improves upon the naive combinations of FL and PEFT by introducing Permutation and Integration of the local Adapters in the server and global Adapters in the clients exploiting Wasserstein barycenters for improved blending of client-specific and client-agnostic knowledge. This layerwise permutation helps to bridge the gap in the parameter space of local and global adapters before integration. We conduct over 2000 client-level experiments utilizing 48 medical image datasets across five different medical vision-language FL task settings encompassing visual question answering as well as image and report-based multi-label disease detection. Our experiments involving diverse client settings, ten different modalities, and two VLM backbones demonstrate that FedPIA consistently outperforms the state-of-the-art PEFT-FL baselines.
Abstract（参考訳）: 大きなビジョンランゲージモデルは通常、効果的な微調整のために大きなテキストと画像データセットを必要とする。しかし、特に医療分野では、厳格なプライバシー規制のため、さまざまなサイトからデータを収集することは困難である。もう一つの方法は、サーバーにデータを送ることなく、医療クリニックのようなエンドユーザーデバイス上でこれらのモデルを微調整することである。これらのローカルクライアントは通常、限られた計算能力と小さなデータセットを持ち、それ自体で完全に微調整された大きなVLMには不十分である。これらのシナリオに対する単純な解決策は、パラメータ効率の細かいチューニング(PEFT)戦略を活用し、学習したアダプタの重みを組み合わせ、リソース制限とデータのプライバシを尊重するフェデレーション学習(FL)アルゴリズムを適用することである。しかし、このアプローチは、多様なデータ分散と多様なタスクのために訓練された複数のアダプタからの知識を十分に活用していない。アダプタはクライアント間のデータ不均一性やタスク不均一性によって悪影響を受けるため、最適下収束が生じる。そこで本研究では,クライアント固有の知識とクライアントに依存しない知識のブレンディングを改善するために,Wassersteinのバリセンツを利用したクライアントにおけるローカルアダプタとグローバルアダプタの置換と統合を導入することにより,FLとPEFTの単純な組み合わせを改善するFedPIAという新しいフレームワークを提案する。この階層的な置換は、統合前にローカルアダプタとグローバルアダプタのパラメータ空間のギャップを埋めるのに役立つ。視覚的質問応答と画像およびレポートに基づくマルチラベル病検出を含む5つの異なる医療ビジョン言語FLタスク設定に対して,48の医用画像データセットを用いた2000以上のクライアントレベルの実験を行った。多様なクライアント設定、10の異なるモダリティ、および2つのVLMバックボーンを含む実験により、FedPIAは最先端のPEFT-FLベースラインを一貫して上回ることを示した。

関連論文リスト

Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-24T13:30:03Z)
Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
論文参考訳（メタデータ） (2024-10-04T15:11:15Z)
PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文参考訳（メタデータ） (2024-06-04T13:51:08Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning [40.16581292336117]
フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
論文参考訳（メタデータ） (2023-10-06T23:46:33Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
論文参考訳（メタデータ） (2023-02-13T19:00:37Z)
Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文参考訳（メタデータ） (2022-11-10T13:20:56Z)
ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
論文参考訳（メタデータ） (2022-11-05T13:41:19Z)
Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:53:05Z)
Federated Whole Prostate Segmentation in MRI with Personalized Neural Architectures [11.563695244722613]
フェデレーション・ラーニング(FL)は、集中型データセットを必要とせずに機械学習モデルをトレーニングする手段である。本研究では,FLと局所的ニューラルネットワーク探索に基づくAutoML技術を組み合わせた「スーパーネット」の学習を行う。提案手法は3次元前立腺MRIの4つの異なるデータセットを用いて評価し,適応後の局所モデルの性能向上を示す。
論文参考訳（メタデータ） (2021-07-16T20:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。