論文の概要: DR-Encoder: Encode Low-rank Gradients with Random Prior for Large Language Models Differentially Privately

• arxiv url: http://arxiv.org/abs/2412.17053v1
• Date: Sun, 22 Dec 2024 15:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:08.638030
• Title: DR-Encoder: Encode Low-rank Gradients with Random Prior for Large Language Models Differentially Privately
• Title（参考訳）: DR-Encoder: 大規模言語モデルに先立ってランダムに低ランク勾配を符号化する
• Authors: Huiwen Wu, Deyi Zhang, Xiaohan Li, Xiaogang Xu, Jiafei Wu, Zhe Liu,
• Abstract要約: 大規模言語モデル(LLM)の微調整手順における3つの潜在的な情報漏洩について検討する。 潜在的な情報漏洩に基づいて、2段階のランダム性を挿入することで、FedLLMのエンドツーエンドのプライバシー保証ソリューションを提供する。 いくつかの基礎モデルと2つの評価ベンチマークを用いて,提案手法の有効性と精度を示す。
• 参考スコア（独自算出の注目度）: 16.883679810267342
• License:
• Abstract: The emergence of the Large Language Model (LLM) has shown their superiority in a wide range of disciplines, including language understanding and translation, relational logic reasoning, and even partial differential equations solving. The transformer is the pervasive backbone architecture for the foundation model construction. It is vital to research how to adjust the Transformer architecture to achieve an end-to-end privacy guarantee in LLM fine-tuning. In this paper, we investigate three potential information leakage during a federated fine-tuning procedure for LLM (FedLLM). Based on the potential information leakage, we provide an end-to-end privacy guarantee solution for FedLLM by inserting two-stage randomness. The first stage is to train a gradient auto-encoder with a Gaussian random prior based on the statistical information of the gradients generated by local clients. The second stage is to fine-tune the overall LLM with a differential privacy guarantee by adopting appropriate Gaussian noises. We show the efficiency and accuracy gains of our proposed method with several foundation models and two popular evaluation benchmarks. Furthermore, we present a comprehensive privacy analysis with Gaussian Differential Privacy (GDP) and Renyi Differential Privacy (RDP).
• Abstract（参考訳）: LLM(Large Language Model)の出現は、言語理解や翻訳、関係論理推論、偏微分方程式の解法など、幅広い分野においてその優位性を示している。 トランスはファンデーションモデル構築のための広く普及したバックボーンアーキテクチャである。 LLMファインチューニングにおいて、エンドツーエンドのプライバシ保証を実現するためにTransformerアーキテクチャの調整方法を研究することが不可欠である。 本稿では,LLM(FedLLM)のファインチューニングにおける3つの潜在的な情報漏洩について検討する。 潜在的な情報漏洩に基づいて、2段階のランダム性を挿入することで、FedLLMのエンドツーエンドのプライバシー保証ソリューションを提供する。 最初の段階は、局所的なクライアントによって生成される勾配の統計情報に基づいて、ガウス乱数で勾配自動エンコーダを訓練することである。 第2の段階は、適切なガウスノイズを採用することにより、LLM全体を差分プライバシー保証で微調整することである。 いくつかの基礎モデルと2つの評価ベンチマークを用いて,提案手法の有効性と精度を示す。 さらに,Gaussian Differential Privacy (GDP) とRenyi Differential Privacy (RDP) を用いた包括的プライバシー分析を行った。

関連論文リスト

• Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.4226399196408985]
  協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。 制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。 提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T15:04:42Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Randomized Quantization is All You Need for Differential Privacy in Federated Learning [1.9785872350085876]
  量子化と差分プライバシーを組み合わせたフェデレーション学習のアプローチを検討する。 我々は textbfRandomized textbfQuantization textbfMechanism (RQM) と呼ばれる新しいアルゴリズムを開発した。 アルゴリズムの性能を実証的に研究し、これまでの研究と比較すると、プライバシーと精度のトレードオフが改善されていることを示す。
  論文  参考訳（メタデータ） (2023-06-20T21:54:13Z)
• On Differential Privacy for Federated Learning in Wireless Systems with Multiple Base Stations [90.53293906751747]
  複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。 本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。 提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
  論文  参考訳（メタデータ） (2022-08-25T03:37:11Z)
• Stronger Privacy Amplification by Shuffling for R\'enyi and Approximate Differential Privacy [43.33288245778629]
  このモデルにおける重要な結果は、ランダムにランダム化されたデータをランダムにシャッフルすると、差分プライバシー保証が増幅されることである。 このような増幅は、匿名でデータが提供されるシステムにおいて、はるかに強力なプライバシー保証を意味する。 本研究では,理論的にも数値的にも,アートプライバシの増幅状態を改善する。
  論文  参考訳（メタデータ） (2022-08-09T08:13:48Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
  Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。 我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。 実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
  論文  参考訳（メタデータ） (2022-06-21T17:45:35Z)
• Private Alternating Least Squares: Practical Private Matrix Completion with Tighter Rates [34.023599653814415]
  ユーザレベルのプライバシの下で、差分的プライベート(DP)行列補完の問題について検討する。 本稿では,Alternating-Least-Squares (ALS) 方式の差分型を設計する。
  論文  参考訳（メタデータ） (2021-07-20T23:19:11Z)
• Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
  分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。 一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。 これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
  論文  参考訳（メタデータ） (2021-03-17T21:49:53Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。