Fugu-MT 論文翻訳(概要): MemDPT: Differential Privacy for Memory Efficient Language Models

論文の概要: MemDPT: Differential Privacy for Memory Efficient Language Models

arxiv url: http://arxiv.org/abs/2406.11087v2
Date: Thu, 20 Jun 2024 05:43:50 GMT
ステータス: 処理完了
システム内更新日: 2024-06-22 01:07:15.358819
Title: MemDPT: Differential Privacy for Memory Efficient Language Models
Title（参考訳）: MemDPT: メモリ効率の良い言語モデルのための微分プライバシー
Authors: Yanming Liu, Xinyue Peng, Jiannan Cao, Yuwei Zhang, Chen Ma, Songhang Deng, Mengchen Fu, Xuhong Zhang, Sheng Cheng, Xun Wang, Jianwei Yin, Tianyu Du,
Abstract要約: 大きな言語モデルは、ユーザープライバシを潜在的なリスクに対して不注意に公開することができる。 MemDPTは、様々な差分プライバシーメモリ効率の良い微調整スキームに対応するために、エッジネットワークとリバースネットワークの設計を提供する。
参考スコア（独自算出の注目度）: 29.860202795518777
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models have consistently demonstrated remarkable performance across a wide spectrum of applications. Nonetheless, the deployment of these models can inadvertently expose user privacy to potential risks. The substantial memory demands of these models during training represent a significant resource consumption challenge. The sheer size of these models imposes a considerable burden on memory resources, which is a matter of significant concern in practice. In this paper, we present an innovative training framework MemDPT that not only reduces the memory cost of large language models but also places a strong emphasis on safeguarding user data privacy. MemDPT provides edge network and reverse network designs to accommodate various differential privacy memory-efficient fine-tuning schemes. Our approach not only achieves $2 \sim 3 \times$ memory optimization but also provides robust privacy protection, ensuring that user data remains secure and confidential. Extensive experiments have demonstrated that MemDPT can effectively provide differential privacy efficient fine-tuning across various task scenarios.
Abstract（参考訳）: 大規模言語モデルは、広範囲のアプリケーションで一貫して顕著な性能を示してきた。それでも、これらのモデルのデプロイは、ユーザプライバシを潜在的なリスクに対して不注意に公開する可能性がある。トレーニング中のこれらのモデルのかなりのメモリ需要は、重要なリソース消費の課題である。これらのモデルの大きさはメモリ資源にかなりの負担を与えるが、これは実際は重大な懸念事項である。本稿では,大規模言語モデルのメモリコスト削減だけでなく,ユーザデータのプライバシ保護にも重点を置いている,革新的なトレーニングフレームワークであるMemDPTを提案する。 MemDPTは、様々な差分プライバシーメモリ効率の良い微調整スキームに対応するために、エッジネットワークとリバースネットワークの設計を提供する。当社のアプローチは,2ドルの \sim 3 \times$メモリ最適化を実現するだけでなく,堅牢なプライバシ保護も実現しています。大規模な実験により、MemDPTは様々なタスクシナリオに対して、効果的な差分プライバシー効率の微調整を効果的に提供できることが示されている。

関連論文リスト

Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文参考訳（メタデータ） (2024-10-22T15:22:53Z)
Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文参考訳（メタデータ） (2024-06-20T13:54:32Z)
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks [1.03590082373586]
我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
論文参考訳（メタデータ） (2024-03-13T12:46:51Z)
Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文参考訳（メタデータ） (2024-01-09T03:53:59Z)
DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
論文参考訳（メタデータ） (2023-10-14T18:42:56Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文参考訳（メタデータ） (2022-04-15T22:36:55Z)
ESMFL: Efficient and Secure Models for Federated Learning [28.953644581089495]
本稿では,Intel Software Guard Extensions上で運用されるフェデレーション学習分散システムのプライバシ保護手法を提案する。我々は、スペーシングにより通勤コストを削減し、異なるモデルアーキテクチャで妥当な精度を達成することができる。
論文参考訳（メタデータ） (2020-09-03T18:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。