論文の概要: pFedMMA: Personalized Federated Fine-Tuning with Multi-Modal Adapter for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2507.05394v1
• Date: Mon, 07 Jul 2025 18:26:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.300304
• Title: pFedMMA: Personalized Federated Fine-Tuning with Multi-Modal Adapter for Vision-Language Models
• Title（参考訳）: pFedMMA:視覚言語モデルのためのマルチモーダルアダプタを用いた個人化ファインチューニング
• Authors: Sajjad Ghiasvand, Mahnoosh Alizadeh, Ramtin Pedarsani,
• Abstract要約: pFedMMAは、視覚言語タスクにマルチモーダルアダプタを活用する最初のパーソナライズされた学習フレームワークである。 pFedMMAはパーソナライゼーションと一般化の間の最先端のトレードオフを実現し、近年のフェデレーション・プロンプト・チューニング手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 14.75695352321115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) like CLIP have demonstrated remarkable generalization in zero- and few-shot settings, but adapting them efficiently to decentralized, heterogeneous data remains a challenge. While prompt tuning has emerged as a popular parameter-efficient approach in personalized federated learning, existing methods often sacrifice generalization in favor of personalization, struggling particularly on unseen classes or domains. In this work, we propose pFedMMA, the first personalized federated learning framework that leverages multi-modal adapters for vision-language tasks. Each adapter contains modality-specific up- and down-projection layers alongside a globally shared projection that aligns cross-modal features. Our asymmetric optimization strategy allows clients to locally adapt to personalized data distributions while collaboratively training the shared projection to improve global generalization. This design is also communication-efficient, as only the shared component is exchanged during rounds. Through extensive experiments across eleven datasets, including domain- and label-shift scenarios, we show that pFedMMA achieves state-of-the-art trade-offs between personalization and generalization, outperforming recent federated prompt tuning methods. The code is available at https://github.com/sajjad-ucsb/pFedMMA.
• Abstract（参考訳）: CLIPのようなビジョンランゲージモデル(VLM)は、ゼロショットや少数ショットの設定において顕著な一般化を実証しているが、分散化された異種データに効率的に適応することは依然として課題である。 パーソナライズド・フェデレーション・ラーニングにおいて、プロンプト・チューニングはパラメータ効率のよいアプローチとして人気がある一方で、既存の手法は、特に目に見えないクラスやドメインで苦労するパーソナライゼーションを犠牲にしている。 本研究では,視覚言語タスクにマルチモーダルアダプタを応用した,最初のパーソナライズド・フェデレーション・ラーニング・フレームワークであるpFedMMAを提案する。 各アダプタには、モダリティ固有のアップ・アンド・ダウン・プロジェクション層と、クロスモーダルな特徴を整列するグローバルな共有プロジェクションが含まれている。 我々の非対称最適化戦略は、クライアントがパーソナライズされたデータ分布に局所的に適応し、共有プロジェクションを協調的にトレーニングし、グローバルな一般化を改善することを可能にする。 この設計は、共有コンポーネントのみがラウンド中に交換されるため、通信効率も高い。 ドメインシフトシナリオやラベルシフトシナリオを含む11のデータセットにわたる広範な実験を通じて、pFedMMAはパーソナライゼーションと一般化の間の最先端のトレードオフを達成し、近年のフェデレートされたプロンプトチューニング手法よりも優れていることを示す。 コードはhttps://github.com/sajjad-ucsb/pFedMMAで入手できる。

関連論文リスト

• Personalized Federated Learning via Dual-Prompt Optimization and Cross Fusion [44.8670376715096]
  フェデレートラーニング(FL)は、ローカルデータを共有せずに、分散化されたクライアント間で協調的なモデルトレーニングを可能にする。 我々は,pFedDCと呼ばれる,二重プロンプト学習と相互融合に基づくパーソナライズされたFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-26T10:59:14Z)
• Generalized and Personalized Federated Learning with Foundation Models via Orthogonal Transformations [4.008780119020479]
  Federated Learningは、集中的なデータ収集を必要とせずに、分散化されたクライアントやローカルデータを保持するデバイス間でモデルをトレーニングすることを目的としている。 我々は,ブラックボックス基盤モデルを活用した新しいアプローチであるFedOTを紹介する。 FedOTは、さまざまなクライアント間の勾配競合を緩和し、セマンティックな整合性を保持し、実質的なデータの存在下でも堅牢なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-26T12:18:24Z)
• PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning [14.681194790227085]
  フェデレーテッド・ラーニング(FL)は、プライバシー保護と協調学習能力で広く注目を集めている。 パーソナライズド・フェデレーション(Personalized Federated Learning)は、モデルをグローバルな共有部分とローカルなプライベート部分に分割することで、この問題に対処する。 本稿では、パーソナライズされたモジュールとエネルギーベースのパーソナライズされたモジュールを組み合わせたPM-MoEアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-01T07:20:21Z)
• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization [19.328216705039527]
  FedMCPはFLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法である。 我々は,PLMの最先端FLファインチューニング手法に対して,FedMCPが大幅な性能改善を実現していることを示す。
  論文  参考訳（メタデータ） (2024-08-28T04:19:47Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings [41.98633628526484]
  Mixture-of-Experts (MoEs)は、コンポーネントのサブセットを動的に活性化することでスケーラビリティを実現する。 推論コストとデータヘテロジニティにより、ゲーティング関数と専門家の協調トレーニングがドメイン固有の専門知識を割り当てる方法について検討する。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。