論文の概要: Safeguarding Data in Multimodal AI: A Differentially Private Approach to
CLIP Training
- arxiv url: http://arxiv.org/abs/2306.08173v2
- Date: Fri, 1 Mar 2024 04:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 14:30:32.766311
- Title: Safeguarding Data in Multimodal AI: A Differentially Private Approach to
CLIP Training
- Title(参考訳): マルチモーダルaiにおけるデータ保護: クリップトレーニングにおける差分プライベートアプローチ
- Authors: Alyssa Huang, Peihan Liu, Ryumei Nakada, Linjun Zhang, Wanrong Zhang
- Abstract要約: 本稿では,コントラスト言語-画像事前学習(CLIP)モデルの個人適応について紹介する。
提案手法であるDp-CLIPをベンチマークデータを用いて厳密に評価する。
- 参考スコア(独自算出の注目度): 15.928338716118697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The surge in multimodal AI's success has sparked concerns over data privacy
in vision-and-language tasks. While CLIP has revolutionized multimodal learning
through joint training on images and text, its potential to unintentionally
disclose sensitive information necessitates the integration of
privacy-preserving mechanisms. We introduce a differentially private adaptation
of the Contrastive Language-Image Pretraining (CLIP) model that effectively
addresses privacy concerns while retaining accuracy. Our proposed method,
Dp-CLIP, is rigorously evaluated on benchmark datasets encompassing diverse
vision-and-language tasks such as image classification and visual question
answering. We demonstrate that our approach retains performance on par with the
standard non-private CLIP model. Furthermore, we analyze our proposed algorithm
under linear representation settings. We derive the convergence rate of our
algorithm and show a trade-off between utility and privacy when gradients are
clipped per-batch and the loss function does not satisfy smoothness conditions
assumed in the literature for the analysis of DP-SGD.
- Abstract(参考訳): マルチモーダルAIの成功は、視覚・言語タスクにおけるデータのプライバシに関する懸念を引き起こしている。
CLIPは画像とテキストのジョイントトレーニングを通じてマルチモーダル学習に革命をもたらしたが、機密情報を意図せずに開示する可能性は、プライバシー保護機構の統合を必要とする。
本稿では,CLIP(Contrastive Language- Image Pretraining)モデルに差分的適応を導入し,精度を維持しつつ,プライバシー問題に効果的に対処する。
提案手法であるdp-clipは,画像分類や視覚的質問応答などの多様な視覚言語タスクを包含するベンチマークデータセット上で厳格に評価されている。
提案手法は標準の非プライベートCLIPモデルと同等の性能を維持していることを示す。
さらに,提案アルゴリズムを線形表現環境下で解析する。
我々は,本アルゴリズムの収束率を導出し,dp-sgd解析用文献に仮定した平滑性条件を損失関数が満たさない場合の実用性とプライバシのトレードオフを示す。
関連論文リスト
- Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。
本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
論文 参考訳(メタデータ) (2023-11-08T05:18:57Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Understanding Transferable Representation Learning and Zero-shot
Transfer in CLIP [92.7485653161698]
CLIPの基盤となるトランスファーブル表現学習について検討し、異なるモダリティの特徴の整合性を実証する。
そこで本研究では,ベンチマークデータセット上でのCLIPや他の最先端手法よりも優れた性能を実現するCLIP型アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-02T06:41:30Z) - Privacy-Preserving In-Context Learning with Differentially Private
Few-Shot Generation [37.55812121348268]
プライベートデータセット上の大きな言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、プライバシリスクを引き起こす。
本稿では,形式的な差分プライバシー保証付きプライベートデータセットから合成数発のデモを生成するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-21T03:59:00Z) - Robust Representation Learning for Privacy-Preserving Machine Learning:
A Multi-Objective Autoencoder Approach [0.9831489366502302]
プライバシー保護機械学習(ppML)のための堅牢な表現学習フレームワークを提案する。
提案手法は,多目的方式でオートエンコーダを訓練することを中心に,符号化部からの潜伏と学習の特徴を符号化形式として結合する。
提案したフレームワークでは、元のフォームを公開せずに、データを共有し、サードパーティツールを使用することができます。
論文 参考訳(メタデータ) (2023-09-08T16:41:25Z) - Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-16T13:32:43Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Robust Cross-Modal Representation Learning with Progressive
Self-Distillation [7.676408770854477]
CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。
本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-10T03:28:18Z) - Continual Learning with Differential Privacy [19.186539487598385]
本稿では,連続学習の学習プロセスに参加するデータレコードの感度を拘束するために,連続的な隣接データベースの概念を導入する。
我々は,学習データのプライバシーリスクを定量化するためのデータサンプリング戦略を備えた,CLのための新しいDP保存アルゴリズムを開発した。
我々のアルゴリズムはCL内のタスク間でのデータレコードの正式なプライバシ保証を提供する。
論文 参考訳(メタデータ) (2021-10-11T12:39:55Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳(メタデータ) (2021-07-06T12:57:32Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳(メタデータ) (2020-06-16T19:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。