論文の概要: DP-MemArc: Differential Privacy Transfer Learning for Memory Efficient Language Models

• arxiv url: http://arxiv.org/abs/2406.11087v3
• Date: Thu, 15 Aug 2024 22:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 19:52:42.516289
• Title: DP-MemArc: Differential Privacy Transfer Learning for Memory Efficient Language Models
• Title（参考訳）: DP-MemArc: メモリ効率の良い言語モデルのための微分プライバシー伝達学習
• Authors: Yanming Liu, Xinyue Peng, Yuwei Zhang, Xiaolan Ke, Songhang Deng, Jiannan Cao, Chen Ma, Mengchen Fu, Xuhong Zhang, Sheng Cheng, Xun Wang, Jianwei Yin, Tianyu Du,
• Abstract要約: DP-MemArcは,大規模言語モデルのメモリコスト削減を目的とした,新しいトレーニングフレームワークである。 DP-MemArcは、様々な差分プライバシーメモリ効率の良い微調整スキームをサポートするために、サイドネットワークまたは可逆ネットワーク設計を組み込んでいる。
• 参考スコア（独自算出の注目度）: 29.147695134795146
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models have repeatedly shown outstanding performance across diverse applications. However, deploying these models can inadvertently risk user privacy. The significant memory demands during training pose a major challenge in terms of resource consumption. This substantial size places a heavy load on memory resources, raising considerable practical concerns. In this paper, we introduce DP-MemArc, a novel training framework aimed at reducing the memory costs of large language models while emphasizing the protection of user data privacy. DP-MemArc incorporates side network or reversible network designs to support a variety of differential privacy memory-efficient fine-tuning schemes. Our approach not only achieves in memory optimization but also ensures robust privacy protection, keeping user data secure and confidential. Extensive experiments have demonstrated that DP-MemArc effectively provides differential privacy-efficient fine-tuning across different task scenarios.
• Abstract（参考訳）: 大規模言語モデルは様々なアプリケーションにまたがって顕著な性能を示してきた。 しかしながら、これらのモデルのデプロイは、ユーザのプライバシを必然的に危険に晒す可能性がある。 トレーニング中の重要なメモリ需要は、リソース消費の面で大きな課題となる。 この大きなサイズはメモリリソースに多大な負荷をかけ、実用的な懸念を生じさせる。 本稿では,DP-MemArcについて紹介する。DP-MemArcは,ユーザデータのプライバシ保護を重視しつつ,大規模言語モデルのメモリコスト削減を目的とした,新たなトレーニングフレームワークである。 DP-MemArcは、様々な差分プライバシーメモリ効率の良い微調整スキームをサポートするために、サイドネットワークまたは可逆ネットワーク設計を組み込んでいる。 私たちのアプローチはメモリ最適化だけでなく、堅牢なプライバシ保護も実現し、ユーザのデータを安全かつ機密に保ちます。 大規模な実験により、DP-MemArcは、異なるタスクシナリオをまたいだ差分プライバシー効率の微調整を効果的に提供することが示された。

関連論文リスト

• An Interactive Framework for Implementing Privacy-Preserving Federated Learning: Experiments on Large Language Models [7.539653242367701]
  フェデレートラーニング(FL)は、ユーザのデータをローカルデバイスに保存することで、プライバシを高める。 最近の攻撃は、トレーニング中にユーザーが共有したアップデートが、データに関する重要な情報を明らかにすることを実証している。 プライバシ実践者としての人間エンティティを統合し,モデルのプライバシとユーティリティの最適なトレードオフを決定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-11T23:07:14Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks [1.03590082373586]
  我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。 これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
  論文  参考訳（メタデータ） (2024-03-13T12:46:51Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
  DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
  論文  参考訳（メタデータ） (2023-10-14T18:42:56Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• ESMFL: Efficient and Secure Models for Federated Learning [28.953644581089495]
  本稿では,Intel Software Guard Extensions上で運用されるフェデレーション学習分散システムのプライバシ保護手法を提案する。 我々は、スペーシングにより通勤コストを削減し、異なるモデルアーキテクチャで妥当な精度を達成することができる。
  論文  参考訳（メタデータ） (2020-09-03T18:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。