論文の概要: Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2505.22447v1
• Date: Wed, 28 May 2025 15:09:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.676414
• Title: Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大規模言語モデルのためのフェデレーション学習におけるプライバシ保護プロンプトパーソナライズ
• Authors: Sizai Hou, Songze Li, Baturalp Buyukates,
• Abstract要約: フェデレート・プロンプト・パーソナライゼーション(FPP)は、データの均一性と局所的なオーバーフィッティングに対処するために開発された。 我々は、パーソナライゼーションとプライバシ保証を調和させるセキュアなFPPプロトコルSecFPPを提案する。 SecFPPは、プライバシ保護ベースラインと非プライバシ保護ベースラインの両方で著しく優れています。
• 参考スコア（独自算出の注目度）: 12.406403248205285
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prompt learning is a crucial technique for adapting pre-trained multimodal language models (MLLMs) to user tasks. Federated prompt personalization (FPP) is further developed to address data heterogeneity and local overfitting, however, it exposes personalized prompts - valuable intellectual assets - to privacy risks like prompt stealing or membership inference attacks. Widely-adopted techniques like differential privacy add noise to prompts, whereas degrading personalization performance. We propose SecFPP, a secure FPP protocol harmonizing generalization, personalization, and privacy guarantees. SecFPP employs hierarchical prompt adaptation with domain-level and class-level components to handle multi-granular data imbalance. For privacy, it uses a novel secret-sharing-based adaptive clustering algorithm for domain-level adaptation while keeping class-level components private. While theoretically and empirically secure, SecFPP achieves state-of-the-art accuracy under severe heterogeneity in data distribution. Extensive experiments show it significantly outperforms both non-private and privacy-preserving baselines, offering a superior privacy-performance trade-off.
• Abstract（参考訳）: Prompt Learningは、事前訓練されたマルチモーダル言語モデル(MLLM)をユーザタスクに適用するための重要なテクニックである。 フェデレートされたプロンプトパーソナライゼーション(FPP)は、データの異質性とローカルな過度なオーバーフィッティングに対処するためにさらに開発されているが、パーソナライズされたプロンプト(貴重な知的資産)を、プロンプト盗難やメンバーシップ推論攻撃といったプライバシーリスクに公開している。 差分プライバシーのような広く採用されているテクニックは、パーソナライズ性能を低下させる一方で、プロンプトにノイズを加える。 我々は、一般化、パーソナライゼーション、プライバシ保証を調和させるセキュアなFPPプロトコルSecFPPを提案する。 SecFPPは、ドメインレベルのコンポーネントとクラスレベルのコンポーネントを階層的に適応させ、マルチグラニュラデータの不均衡を処理する。 プライバシには、クラスレベルのコンポーネントをプライベートに保ちながら、ドメインレベルの適応のために、新しいシークレット共有ベースのアダプティブクラスタリングアルゴリズムを使用する。 SecFPPは理論上も経験的にも安全であるが、データ分布の重大不均一性の下で最先端の精度を達成する。 大規模な実験では、プライベートとプライバシ保護の両方のベースラインを著しく上回り、優れたプライバシとパフォーマンスのトレードオフを提供する。

関連論文リスト

• Multi-Objective Optimization for Privacy-Utility Balance in Differentially Private Federated Learning [12.278668095136098]
  フェデレートラーニング(FL)は、生データを共有せずに、分散クライアント間で協調的なモデルトレーニングを可能にする。 本稿では,多目的最適化フレームワークを用いて動的にクリッピング規範を調整する適応型クリッピング機構を提案する。 以上の結果から,適応的クリッピングは固定クリッピングベースラインを一貫して上回り,同一のプライバシー制約下での精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-03-27T04:57:05Z)
• Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models [11.747329476179223]
  パーソナライゼーションと一般化のバランスをとる上での課題に対処するために,DP-FPL(Dis differentially Private Federated Prompt Learning)アプローチを提案する。 本手法は,プライバシノイズがモデル性能に与える影響を軽減し,パーソナライゼーションと一般化のトレードオフを緩和する。
  論文  参考訳（メタデータ） (2025-01-23T18:34:09Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。 既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。 差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T06:07:04Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。