論文の概要: Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2501.13904v1
• Date: Thu, 23 Jan 2025 18:34:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:33.709570
• Title: Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大規模言語モデルのためのプライバシ保護型個人化フェデレート・プロンプト学習
• Authors: Linh Tran, Wei Sun, Stacy Patterson, Ana Milanova,
• Abstract要約: パーソナライゼーションと一般化のバランスをとる上での課題に対処するために,DP-FPL(Dis differentially Private Federated Prompt Learning)アプローチを提案する。 本手法は,プライバシノイズがモデル性能に与える影響を軽減し,パーソナライゼーションと一般化のトレードオフを緩和する。
• 参考スコア（独自算出の注目度）: 11.747329476179223
• License:
• Abstract: Multimodal Large Language Models (LLMs) are pivotal in revolutionizing customer support and operations by integrating multiple modalities such as text, images, and audio. Federated Prompt Learning (FPL) is a recently proposed approach that combines pre-trained multimodal LLMs such as vision-language models with federated learning to create personalized, privacy-preserving AI systems. However, balancing the competing goals of personalization, generalization, and privacy remains a significant challenge. Over-personalization can lead to overfitting, reducing generalizability, while stringent privacy measures, such as differential privacy, can hinder both personalization and generalization. In this paper, we propose a Differentially Private Federated Prompt Learning (DP-FPL) approach to tackle this challenge by leveraging a low-rank adaptation scheme to capture generalization while maintaining a residual term that preserves expressiveness for personalization. To ensure privacy, we introduce a novel method where we apply local differential privacy to the two low-rank components of the local prompt, and global differential privacy to the global prompt. Our approach mitigates the impact of privacy noise on the model performance while balancing the tradeoff between personalization and generalization. Extensive experiments demonstrate the effectiveness of our approach over other benchmarks.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(LLM)は、テキスト、画像、オーディオなどの複数のモダリティを統合することにより、顧客サポートとオペレーションに革命をもたらす。 Federated Prompt Learning (FPL)は、ビジョン言語モデルのような事前学習されたマルチモーダルLLMとフェデレート学習を組み合わせて、パーソナライズされたプライバシ保護AIシステムを作成する、最近提案されたアプローチである。 しかし、パーソナライゼーション、一般化、プライバシといった競合する目標のバランスは、依然として大きな課題である。 過度な個人化は、過度な適合、一般化可能性の低下につながるが、差分プライバシーのような厳格なプライバシー対策は、パーソナライズと一般化の両方を妨げる。 本稿では,パーソナライズのための表現性を保った残項を維持しつつ,一般化を捉えるために,低ランク適応方式を活用することで,この課題に対処する微分プライベート・フェデレーション・プロンプト・ラーニング(DP-FPL)手法を提案する。 プライバシを確保するために、ローカルプロンプトの2つの低ランクなコンポーネントにローカルディファレンシャルプライバシを適用し、グローバルプロンプトにグローバルディファレンシャルプライバシを適用する新しい方法を提案する。 本手法は,プライバシノイズがモデル性能に与える影響を軽減し,パーソナライゼーションと一般化のトレードオフを緩和する。 大規模な実験は、我々のアプローチが他のベンチマークよりも有効であることを示す。

関連論文リスト

• Differentially Private Active Learning: Balancing Effective Data Selection and Privacy [11.716423801223776]
  標準学習設定のための差分プライベートアクティブラーニング(DP-AL)を導入する。 本研究では,DP-SGDトレーニングをALに統合することで,プライバシ予算の割り当てやデータ利用において大きな課題が生じることを実証する。 視覚および自然言語処理タスクに関する実験は,DP-ALが特定のデータセットやモデルアーキテクチャの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-01T09:34:06Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• HRNet: Differentially Private Hierarchical and Multi-Resolution Network for Human Mobility Data Synthesization [19.017342515321918]
  我々は,現実的な人間の移動データを合成するための新しい深層生成モデルである階層・多解ネットワーク(HRNet)を紹介した。 まず、差分プライバシーの下で人間の移動データを学習する際の重要な困難を識別する。 HRNetは、階層的なロケーションエンコーディング機構、複数解像度にわたるマルチタスク学習、プライベート事前トレーニングの3つのコンポーネントを統合している。
  論文  参考訳（メタデータ） (2024-05-13T12:56:24Z)
• Towards Unified Multi-Modal Personalization: Large Vision-Language Models for Generative Recommendation and Beyond [87.1712108247199]
  我々の目標は、マルチモーダルパーソナライゼーションシステム(UniMP)のための統一パラダイムを確立することである。 我々は、幅広いパーソナライズされたニーズに対処できる汎用的でパーソナライズされた生成フレームワークを開発する。 我々の手法は、パーソナライズされたタスクのための基礎言語モデルの能力を高める。
  論文  参考訳（メタデータ） (2024-03-15T20:21:31Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Safeguarding Data in Multimodal AI: A Differentially Private Approach to CLIP Training [15.928338716118697]
  本稿では,コントラスト言語-画像事前学習(CLIP)モデルの個人適応について紹介する。 提案手法であるDp-CLIPをベンチマークデータを用いて厳密に評価する。
  論文  参考訳（メタデータ） (2023-06-13T23:32:09Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Private Multi-Task Learning: Formulation and Applications to Federated Learning [44.60519521554582]
  マルチタスク学習は、ヘルスケア、ファイナンス、IoTコンピューティングなどの分野において、プライバシに敏感なアプリケーションに関係している。 我々は,MTLにおけるクライアントレベルのプライバシの概念を,共同微分プライバシ(JDP),メカニズム設計と分散最適化のための微分プライバシの緩和を通じて形式化する。 そこで我々は,パーソナライズド・フェデレーション・ラーニングの応用を目的とした,平均正規化MLLのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-30T03:37:36Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。