Fugu-MT 論文翻訳(概要): Safeguarding Data in Multimodal AI: A Differentially Private Approach to CLIP Training

論文の概要: Safeguarding Data in Multimodal AI: A Differentially Private Approach to CLIP Training

arxiv url: http://arxiv.org/abs/2306.08173v2
Date: Fri, 1 Mar 2024 04:24:04 GMT
ステータス: 処理完了
システム内更新日: 2024-03-04 14:30:32.766311
Title: Safeguarding Data in Multimodal AI: A Differentially Private Approach to CLIP Training
Title（参考訳）: マルチモーダルaiにおけるデータ保護: クリップトレーニングにおける差分プライベートアプローチ
Authors: Alyssa Huang, Peihan Liu, Ryumei Nakada, Linjun Zhang, Wanrong Zhang
Abstract要約: 本稿では,コントラスト言語-画像事前学習(CLIP)モデルの個人適応について紹介する。提案手法であるDp-CLIPをベンチマークデータを用いて厳密に評価する。
参考スコア（独自算出の注目度）: 15.928338716118697
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The surge in multimodal AI's success has sparked concerns over data privacy in vision-and-language tasks. While CLIP has revolutionized multimodal learning through joint training on images and text, its potential to unintentionally disclose sensitive information necessitates the integration of privacy-preserving mechanisms. We introduce a differentially private adaptation of the Contrastive Language-Image Pretraining (CLIP) model that effectively addresses privacy concerns while retaining accuracy. Our proposed method, Dp-CLIP, is rigorously evaluated on benchmark datasets encompassing diverse vision-and-language tasks such as image classification and visual question answering. We demonstrate that our approach retains performance on par with the standard non-private CLIP model. Furthermore, we analyze our proposed algorithm under linear representation settings. We derive the convergence rate of our algorithm and show a trade-off between utility and privacy when gradients are clipped per-batch and the loss function does not satisfy smoothness conditions assumed in the literature for the analysis of DP-SGD.
Abstract（参考訳）: マルチモーダルAIの成功は、視覚・言語タスクにおけるデータのプライバシに関する懸念を引き起こしている。 CLIPは画像とテキストのジョイントトレーニングを通じてマルチモーダル学習に革命をもたらしたが、機密情報を意図せずに開示する可能性は、プライバシー保護機構の統合を必要とする。本稿では,CLIP(Contrastive Language- Image Pretraining)モデルに差分的適応を導入し,精度を維持しつつ,プライバシー問題に効果的に対処する。提案手法であるdp-clipは,画像分類や視覚的質問応答などの多様な視覚言語タスクを包含するベンチマークデータセット上で厳格に評価されている。提案手法は標準の非プライベートCLIPモデルと同等の性能を維持していることを示す。さらに,提案アルゴリズムを線形表現環境下で解析する。我々は,本アルゴリズムの収束率を導出し,dp-sgd解析用文献に仮定した平滑性条件を損失関数が満たさない場合の実用性とプライバシのトレードオフを示す。

関連論文リスト

Differentially Private Active Learning: Balancing Effective Data Selection and Privacy [11.716423801223776]
標準学習設定のための差分プライベートアクティブラーニング(DP-AL)を導入する。本研究では,DP-SGDトレーニングをALに統合することで,プライバシ予算の割り当てやデータ利用において大きな課題が生じることを実証する。視覚および自然言語処理タスクに関する実験は,DP-ALが特定のデータセットやモデルアーキテクチャの性能を向上させることを示す。
論文参考訳（メタデータ） (2024-10-01T09:34:06Z)
Semantic Meta-Split Learning: A TinyML Scheme for Few-Shot Wireless Image Classification [50.28867343337997]
本研究は,TinyMLを用いた無線画像分類のためのセマンティック・コミュニケーション・フレームワークを提案する。我々は、プライバシ保護を確保しつつ、エンドユーザーによって実行される計算を制限するために分割学習を利用する。メタ学習は、データ可用性の懸念を克服し、同様のトレーニングされたタスクを利用することで、トレーニングを高速化する。
論文参考訳（メタデータ） (2024-09-03T05:56:55Z)
Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
論文参考訳（メタデータ） (2023-11-08T05:18:57Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Privacy-Preserving In-Context Learning with Differentially Private Few-Shot Generation [37.55812121348268]
プライベートデータセット上の大きな言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、プライバシリスクを引き起こす。本稿では,形式的な差分プライバシー保証付きプライベートデータセットから合成数発のデモを生成するアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-21T03:59:00Z)
Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-08-16T13:32:43Z)
Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文参考訳（メタデータ） (2022-10-17T17:57:46Z)
Robust Cross-Modal Representation Learning with Progressive Self-Distillation [7.676408770854477]
CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-04-10T03:28:18Z)
Continual Learning with Differential Privacy [19.186539487598385]
本稿では,連続学習の学習プロセスに参加するデータレコードの感度を拘束するために,連続的な隣接データベースの概念を導入する。我々は,学習データのプライバシーリスクを定量化するためのデータサンプリング戦略を備えた,CLのための新しいDP保存アルゴリズムを開発した。我々のアルゴリズムはCL内のタスク間でのデータレコードの正式なプライバシ保証を提供する。
論文参考訳（メタデータ） (2021-10-11T12:39:55Z)
Differentially private federated deep learning for multi-site medical image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文参考訳（メタデータ） (2021-07-06T12:57:32Z)
SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文参考訳（メタデータ） (2020-06-16T19:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。