論文の概要: DP-MemArc: Differential Privacy Transfer Learning for Memory Efficient Language Models
- arxiv url: http://arxiv.org/abs/2406.11087v5
- Date: Thu, 20 Feb 2025 07:47:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 14:26:17.876159
- Title: DP-MemArc: Differential Privacy Transfer Learning for Memory Efficient Language Models
- Title（参考訳）: DP-MemArc: メモリ効率の良い言語モデルのための微分プライバシー伝達学習
- Authors: Yanming Liu, Xinyue Peng, Yuwei Zhang, Xiaolan Ke, Songhang Deng, Jiannan Cao, Chen Ma, Mengchen Fu, Tianyu Du, Sheng Cheng, Xun Wang, Jianwei Yin, Xuhong Zhang,
- Abstract要約: DP-MemArcは,大規模言語モデルのメモリコスト削減を目的とした,新たなトレーニングフレームワークである。
DP-MemArcは、異なるタスクシナリオに対して、効果的なプライバシー効率の微調整を提供する。
- 参考スコア（独自算出の注目度）: 29.147695134795146
- License:
- Abstract: Large language models have repeatedly shown outstanding performance across diverse applications. However, deploying these models can inadvertently risk user privacy. The significant memory demands during training pose a major challenge in terms of resource consumption. This substantial size places a heavy load on memory resources, raising considerable practical concerns. In this paper, we introduce DP-MemArc, a novel training framework aimed at reducing the memory costs of large language models while emphasizing the protection of user data privacy. DP-MemArc incorporates side network or reversible network designs to support a variety of differential privacy memory-efficient fine-tuning schemes. Our approach not only achieves about 2.5 times in memory optimization but also ensures robust privacy protection, keeping user data secure and confidential. Extensive experiments have demonstrated that DP-MemArc effectively provides differential privacy-efficient fine-tuning across different task scenarios.
- Abstract（参考訳）: 大規模言語モデルは様々なアプリケーションにまたがって顕著な性能を示してきた。
しかしながら、これらのモデルのデプロイは、ユーザのプライバシを必然的に危険に晒す可能性がある。
トレーニング中の重要なメモリ需要は、リソース消費の面で大きな課題となる。
この大きなサイズはメモリリソースに多大な負荷をかけ、実用的な懸念を生じさせる。
本稿では,DP-MemArcについて紹介する。DP-MemArcは,ユーザデータのプライバシ保護を重視しつつ,大規模言語モデルのメモリコスト削減を目的とした,新たなトレーニングフレームワークである。
DP-MemArcは、様々な差分プライバシーメモリ効率の良い微調整スキームをサポートするために、サイドネットワークまたは可逆ネットワーク設計を組み込んでいる。
当社のアプローチでは,メモリ最適化の2.5回程度を達成できるだけでなく,堅牢なプライバシ保護を実現し,ユーザのデータをセキュアかつ機密に保ちます。
大規模な実験により、DP-MemArcは、異なるタスクシナリオをまたいだ差分プライバシー効率の微調整を効果的に提供することが示された。
関連論文リスト
- Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。
提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - SoK: Reducing the Vulnerability of Fine-tuned Language Models to
Membership Inference Attacks [1.03590082373586]
我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。
これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
論文 参考訳（メタデータ） (2024-03-13T12:46:51Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。
DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
論文 参考訳（メタデータ） (2023-10-14T18:42:56Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳（メタデータ） (2022-04-15T22:36:55Z) - ESMFL: Efficient and Secure Models for Federated Learning [28.953644581089495]
本稿では,Intel Software Guard Extensions上で運用されるフェデレーション学習分散システムのプライバシ保護手法を提案する。
我々は、スペーシングにより通勤コストを削減し、異なるモデルアーキテクチャで妥当な精度を達成することができる。
論文 参考訳（メタデータ） (2020-09-03T18:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。