論文の概要: FedAPT: Federated Adversarial Prompt Tuning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2509.06992v1
• Date: Wed, 03 Sep 2025 03:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.004531
• Title: FedAPT: Federated Adversarial Prompt Tuning for Vision-Language Models
• Title（参考訳）: FedAPT:ビジョンランゲージモデルのためのFederated Adversarial Prompt Tuning
• Authors: Kun Zhai, Siheng Chen, Xingjun Ma, Yu-Gang Jiang,
• Abstract要約: Federated Adversarial Prompt Tuning (textbfFedAPT)は、FPTの対向性を高めるために設計された新しい手法である。 この問題に対処するために,テキストプロンプトから視覚的なプロンプトを生成するtextbfclass-awareプロンプトジェネレータを提案する。 複数の画像分類データセットの実験は、対向ロバスト性を改善する上でFedAPTの優位性を示している。
• 参考スコア（独自算出の注目度）: 97.35577473867296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Prompt Tuning (FPT) is an efficient method for cross-client collaborative fine-tuning of large Vision-Language Models (VLMs). However, models tuned using FPT are vulnerable to adversarial attacks, leading to misclassification in downstream tasks. In this work, we introduce Federated Adversarial Prompt Tuning (\textbf{FedAPT}), a novel method designed to enhance the adversarial robustness of FPT. We identify a key issue in FedAPT under non-independent and identically distributed (non-IID) settings: a \textit{class information gap} between clients and the global model. Clients rely solely on limited local label information to generate adversarial samples for training, while the global model must defend against adversarial attacks from global labels. To address this issue, we propose a \textbf{class-aware prompt generator} that generates visual prompts from text prompts. This generator is guided by a \emph{Global Label Embedding} (serving as a ``beacon") which encodes cross-client label information to create more globally-aligned visual prompts. Additionally, we propose a \textbf{cross-layer generator sharing} strategy to enhance prompt coupling across different layers of the model, further boosting adversarial robustness. Extensive experiments on multiple image classification datasets demonstrate the superiority of FedAPT in improving adversarial robustness, outperforming existing methods by a large margin. FedAPT also exhibits exceptional generalization in cross-domain and cross-dataset scenarios, indicating its effectiveness in real-world applications.
• Abstract（参考訳）: Federated Prompt Tuning (FPT) は、大規模ビジョンランゲージモデル(VLM)のクロスクライアント協調微調整の効率的な方法である。 しかし、FPTを用いて調整されたモデルは敵攻撃に対して脆弱であり、下流タスクの誤分類につながる。 本稿では,FPTの対向性を高めるための新しい手法であるFederated Adversarial Prompt Tuning(\textbf{FedAPT})を紹介する。 我々は,FedAPTにおいて,非独立かつ同一に分散された(非IID)設定の下で,クライアントとグローバルモデルの間での \textit{class information gap} という重要な問題を特定する。 クライアントは限られたローカルラベル情報にのみ依存し、トレーニングのために敵のサンプルを生成する一方、グローバルモデルはグローバルラベルからの敵の攻撃に対して防御しなければならない。 この問題に対処するため,テキストプロンプトから視覚的なプロンプトを生成する「textbf{class-aware prompt generator」を提案する。 このジェネレータは \emph{Global Label Embedding} (‘`beacon’として保存されている)によってガイドされる。 さらに,モデルの各層にまたがる迅速な結合を促進し,対向的ロバスト性を高めるために, \textbf{cross-layer generator sharing} 戦略を提案する。 複数の画像分類データセットに対する大規模な実験は、FedAPTが対向的ロバスト性を改善し、既存の手法よりも大きなマージンで優れていることを示す。 FedAPTはまた、クロスドメインおよびクロスデータセットのシナリオにおいて例外的な一般化を示し、現実世界のアプリケーションにおけるその有効性を示している。

関連論文リスト

• BadPromptFL: A Novel Backdoor Threat to Prompt-based Federated Learning in Multimodal Models [8.874122783196139]
  textbfBadPromptFLは,プロンプトベースのフェデレーション学習をターゲットにした最初のバックドア攻撃である。 BadPromptFLでは、妥協されたクライアントが、ローカルなバックドアトリガーを共同で最適化し、埋め込みを促し、中毒したプロンプトをグローバルアグリゲーションプロセスに注入する。 本実験は, 攻撃の有効性, ステルス性, 一般化性を検証し, 即時学習の堅牢性に対する批判的懸念を提起するものである。
  論文  参考訳（メタデータ） (2025-08-11T14:42:44Z)
• Personalized Federated Learning via Dual-Prompt Optimization and Cross Fusion [44.8670376715096]
  フェデレートラーニング(FL)は、ローカルデータを共有せずに、分散化されたクライアント間で協調的なモデルトレーニングを可能にする。 我々は,pFedDCと呼ばれる,二重プロンプト学習と相互融合に基づくパーソナライズされたFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-26T10:59:14Z)
• Enhancing Visual Representation with Textual Semantics: Textual Semantics-Powered Prototypes for Heterogeneous Federated Learning [12.941603966989366]
  フェデレート・プロトタイプ・ラーニング(FedPL)は、フェデレート・ラーニング(FL)におけるデータ不均一性を扱う効果的な戦略として登場した。 テキストのモダリティから意味に富んだプロトタイプを構築するために,PLMを利用する新しい手法であるFedTSPを提案する。 クライアントイメージモデルとPLM間のモダリティギャップに対処するため、トレーニング可能なプロンプトを導入し、プロトタイプがクライアントタスクに適応できるようにする。
  論文  参考訳（メタデータ） (2025-03-16T04:35:06Z)
• Communication-Efficient Personalized Federated Learning for Speech-to-Text Tasks [64.02867484165476]
  プライバシー保護と法的規制を満たすために、連邦学習(FL)は、音声テキスト(S2T)システムのトレーニングにおいて大きな注目を集めている。 S2Tタスクで一般的に使用されるFLアプローチ(textscFedAvg)は、通常、広範な通信オーバーヘッドに悩まされる。 我々は、クライアント側チューニングとサーバとのインタラクションのための軽量なLoRAモジュールであるtextscFedLoRA と、$k$-near を備えたグローバルモデルである textscFedMem を導入したパーソナライズされたS2Tフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:39:38Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。