論文の概要: Privacy-preserving Fine-tuning of Large Language Models through Flatness

• arxiv url: http://arxiv.org/abs/2403.04124v1
• Date: Thu, 7 Mar 2024 00:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 15:31:59.059211
• Title: Privacy-preserving Fine-tuning of Large Language Models through Flatness
• Title（参考訳）: 平坦性による大規模言語モデルのプライバシー保護微調整
• Authors: Tiejin Chen, Longchao Da, Huixue Zhou, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei
• Abstract要約: 微分プライバシ(DP)技術は、一般化劣化のコストでプライバシーリスクを軽減するために、既存の研究で検討されている。 本稿では,DP学習モデルにおける損失景観の平坦さが,プライバシと一般化のトレードオフにおいて重要な役割を担っていることを明らかにする。 適切なウェイトフラットネスを強制する全体的枠組みを提案し、競合するプライバシ保護を伴うモデルの一般化を大幅に改善する。
• 参考スコア（独自算出の注目度）: 44.290122515938954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The privacy concerns associated with the use of Large Language Models (LLMs) have grown recently with the development of LLMs such as ChatGPT. Differential Privacy (DP) techniques are explored in existing work to mitigate their privacy risks at the cost of generalization degradation. Our paper reveals that the flatness of DP-trained models' loss landscape plays an essential role in the trade-off between their privacy and generalization. We further propose a holistic framework to enforce appropriate weight flatness, which substantially improves model generalization with competitive privacy preservation. It innovates from three coarse-to-grained levels, including perturbation-aware min-max optimization on model weights within a layer, flatness-guided sparse prefix-tuning on weights across layers, and weight knowledge distillation between DP \& non-DP weights copies. Comprehensive experiments of both black-box and white-box scenarios are conducted to demonstrate the effectiveness of our proposal in enhancing generalization and maintaining DP characteristics. For instance, on text classification dataset QNLI, DP-Flat achieves similar performance with non-private full fine-tuning but with DP guarantee under privacy budget $\epsilon=3$, and even better performance given higher privacy budgets. Codes are provided in the supplement.
• Abstract（参考訳）: LLM(Large Language Models)の使用に伴うプライバシの懸念は、ChatGPTのようなLLMの開発によって、近年増大している。 微分プライバシ(DP)技術は、一般化劣化のコストでプライバシーリスクを軽減するために、既存の研究で検討されている。 本稿では,DP学習モデルの損失景観の平坦さが,プライバシと一般化のトレードオフにおいて重要な役割を果たすことを明らかにした。 さらに,プライバシ保護の競争によるモデル一般化を大幅に改善する,適切な重み平坦性を実現するための総合的枠組みを提案する。 層内のモデル重みに対する摂動認識min-max最適化、層間の重みに対する平坦性誘導プレフィックス調整、dp \および非dp重みコピー間の重み知識蒸留を含む3つの粗粒度レベルから革新する。 ブラックボックスシナリオとホワイトボックスシナリオの総合実験を行い, 一般化とDP特性の維持における提案の有効性を実証した。 例えば、テキスト分類データセットのQNLIでは、DP-Flatは、プライベートでない完全な微調整で同様のパフォーマンスを達成するが、DP保証はプライバシー予算で$\epsilon=3$、さらに高いプライバシー予算でパフォーマンスが向上する。 コードはサプリメントに記載されている。

関連論文リスト

• Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
  ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。 本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T03:39:55Z)
• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Wasserstein Differential Privacy [4.112909937203119]
  本稿では、プライバシー漏洩のリスクを測定するための代替DPフレームワークであるWDP(Wasserstein差分プライバシー)を提案する。 WDPには13の優れた特性があり、WDPの性能向上を理論的に支援できることを示す。 我々は、WDPを勾配降下シナリオに適用できる、Wasserstein accountantと呼ばれる一般的なプライバシ会計手法を導出する。
  論文  参考訳（メタデータ） (2024-01-23T02:08:20Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Graphical vs. Deep Generative Models: Measuring the Impact of Differentially Private Mechanisms and Budgets on Utility [18.213030598476198]
  私たちはグラフィカルモデルと深層生成モデルを比較し、プライバシー予算の支出に寄与する重要な要素に注目します。 グラフィカルモデルでは,プライバシ予算を水平方向に分散させることで,一定のトレーニング時間において比較的広いデータセットを処理できないことがわかった。 深層生成モデルはイテレーション毎に予算を消費するので、その振る舞いはさまざまなデータセットの次元で予測できない。
  論文  参考訳（メタデータ） (2023-05-18T14:14:42Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• DataLens: Scalable Privacy Preserving Training via Gradient Compression and Aggregation [15.63770709526671]
  スケーラブルなプライバシー保護生成モデルDataLENSを提案します。 その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。 DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
  論文  参考訳（メタデータ） (2021-03-20T06:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。