論文の概要: Towards Privacy-Preserving Federated Prompt Tuning under Data Heterogeneity: A Subspace-Decomposed Expert Approach

• arxiv url: http://arxiv.org/abs/2607.21417v1
• Date: Thu, 23 Jul 2026 15:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.453813
• Title: Towards Privacy-Preserving Federated Prompt Tuning under Data Heterogeneity: A Subspace-Decomposed Expert Approach
• Title（参考訳）: データ不均一性下でのプライバシ保護型フェデレートプロンプトチューニングに向けて:サブスペース分解型エキスパートアプローチ
• Abstract要約: 我々は、プライバシ言語によるフェデレーションサブスペースを分解したExpert Prompt TuningであるFedSEPTを提案する。 我々は、サブスペース分解エキスパートモデリング(SEM)を用いて、複数のプロンプトの専門家を、共有された低ランク要因、固定された公開ベース、プライベートな残留要素でパラメータ化する。 また、デバイス上のルーティングを通じてセマンティックな補完的な専門家を適応的に組み合わせ、効率的なロジトレベルの融合を行う、インスタンス対応エキスパートフュージョン(IEF)を設計する。
• 参考スコア（独自算出の注目度）: 17.158355363673124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated prompt tuning (FPT) enables collaborative adaptation of vision--language models (VLMs) using lightweight prompts. Existing methods often address heterogeneity and privacy through a split-prompt design under local differential privacy (DP), combining a shared prompt for global transfer with private prompts for local adaptation. However, a single shared prompt may over-smooth diverse transferable knowledge, weakening the balance between personalization and generalization. Multi-expert prompts (MEPs) can better capture this diversity, but enlarge the communicated space, increasing DP noise and communication cost while making robust expert composition more difficult. We propose FedSEPT, a privacy-preserving Fed}erated Subspace-decomposed Expert Prompt Tuning. Specifically, we employ Subspace-decomposed Expert Modeling (SEM) to parameterize multiple prompt experts with shared low-rank factors, a fixed public basis, and private residuals, thereby confining communication and DP perturbation to a compact factor space while enabling direct server aggregation in a common coordinate system. We further design Instance-aware Expert Fusion (IEF), which adaptively combines semantically complementary experts via on-device routing and performs efficient logit-level fusion using cached expert-specific text features. Extensive experiments on 11 heterogeneous benchmarks show that, under the same privacy constraints, FedSEPT achieves a better trade-off between local adaptation and global generalization than strong baselines.
• Abstract（参考訳）: フェデレートプロンプトチューニング(FPT)は、軽量プロンプトを用いた視覚言語モデル(VLM)の協調的な適応を可能にする。 既存の方法は、ローカル差分プライバシ(DP)の下での分割プロンプト設計を通じて、異種性とプライバシに対処し、グローバル転送のための共有プロンプトと、ローカル適応のためのプライベートプロンプトを組み合わせた場合が多い。 しかし、単一の共有プロンプトは、多種多様な伝達可能な知識を過度にスムースにし、パーソナライゼーションと一般化のバランスを弱める。 マルチエキスパートプロンプト(MEP)は、この多様性をよりよく捉えることができるが、通信空間を拡大し、DPノイズと通信コストを増大させ、堅牢な専門家構成をより困難にする。 我々は,プライバシ保護型フェデレーションであるFedSEPTを提案する。 具体的には、サブスペース分解型エキスパートモデリング(SEM)を用いて、複数のプロンプトの専門家に対して、共有低ランク要因、固定公開ベース、プライベート残差をパラメータ化することで、共通座標系における直接サーバアグリゲーションを実現しつつ、通信とDP摂動をコンパクトファクタ空間に収束させる。 さらに、オンデバイスルーティングを通じて意味論的に補完的な専門家を適応的に組み合わせ、キャッシュされた専門家固有のテキスト機能を使用して効率的なロジトレベルの融合を行う、インスタンス対応エキスパートフュージョン(IEF)を設計する。 11のヘテロジニアスベンチマークの大規模な実験は、同じプライバシー制約の下で、FedSEPTは強力なベースラインよりも局所的な適応とグローバルな一般化とのトレードオフが優れていることを示している。

関連論文リスト

• RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
  RAPTORはRole-Aware Private Trainingフレームワークである。 RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。 GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-09-04T23:16:12Z)
• FedTaste: Topology-Aware Structural Transfer for Multimodal Federated Learning with Missing Modalities [7.015345209610299]
  FedTasteはマルチモーダルフェデレートラーニングにおけるトポロジを考慮した構造伝達のためのパラメータ効率のよいフレームワークである。 モダリティを欠くクライアントに適応するために,モダリティ適応型構造プロンプトを導入する。 このように、FedTasteはクライアント間で共有セマンティック構造を保持しながら、明示的なモダリティ計算を避けます。
  論文  参考訳（メタデータ） (2026-07-25T15:11:58Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• FedBPrompt: Federated Domain Generalization Person Re-Identification via Body Distribution Aware Visual Prompts [48.952949805624904]
  視覚変換器(ViT)は広く採用されているが、その世界的な注目は、歩行者を高い類似点や多様な視点から区別することができないことが多い。 これを解決するために,FedBPrompt (FedBPrompt) を意識したFederated Body Distributionを提案する。 FedBPromptは、トランスフォーマーの注意を歩行者中心の地域へと導くための学習可能な視覚的プロンプトを導入した。
  論文  参考訳（メタデータ） (2026-03-13T11:29:36Z)
• Subgraph Federated Learning via Spectral Methods [52.40322201034717]
  FedLapは、プライバシとスケーラビリティを確保しながら、ノード間の依存関係をキャプチャする新しいフレームワークである。 我々は、FedLapのプライバシを正式に分析し、プライバシを保存することを実証する。
  論文  参考訳（メタデータ） (2025-10-29T16:22:32Z)
• Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models [12.406403248205285]
  フェデレート・プロンプト・パーソナライゼーション(FPP)は、データの均一性と局所的なオーバーフィッティングに対処するために開発された。 我々は、パーソナライゼーションとプライバシ保証を調和させるセキュアなFPPプロトコルSecFPPを提案する。 SecFPPは、プライバシ保護ベースラインと非プライバシ保護ベースラインの両方で著しく優れています。
  論文  参考訳（メタデータ） (2025-05-28T15:09:56Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning [40.16581292336117]
  フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。 フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
  論文  参考訳（メタデータ） (2023-10-06T23:46:33Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。