Fugu-MT 論文翻訳(概要): Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning

論文の概要: Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning

arxiv url: http://arxiv.org/abs/2507.22565v1
Date: Wed, 30 Jul 2025 10:46:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-31 16:14:18.159685
Title: Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning
Title（参考訳）: 強化学習によるLLMの高能率個別微調整
Authors: Afshin Khadangi, Amir Sartipi, Igor Tchappi, Ramin Bahmani, Gilbert Fridgen,
Abstract要約: RLDPはDP最適化自体を近代的な深層強化学習(RL)に対応可能な閉ループ制御問題とみなす最初のフレームワークである。 GPT2-small、Llama-1B、Llama-3B、Mistral-7Bの1,600以上の実験で、RDDPは1.3-3.0.5%のパープレキシティ低減と平均5.6%のダウンストリームユーティリティゲインを実現している。
参考スコア（独自算出の注目度）: 0.9861588522527782
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The tension between data privacy and model utility has become the defining bottleneck for the practical deployment of large language models (LLMs) trained on sensitive corpora including healthcare. Differentially private stochastic gradient descent (DP-SGD) guarantees formal privacy, yet it does so at a pronounced cost: gradients are forcibly clipped and perturbed with noise, degrading sample efficiency and final accuracy. Numerous variants have been proposed to soften this trade-off, but they all share a handicap: their control knobs are hard-coded, global, and oblivious to the evolving optimization landscape. Consequently, practitioners are forced either to over-spend privacy budget in pursuit of utility, or to accept mediocre models in order to stay within privacy constraints. We present RLDP, the first framework to cast DP optimization itself as a closed-loop control problem amenable to modern deep reinforcement learning (RL). RLDP continuously senses rich statistics of the learning dynamics and acts by selecting fine-grained per parameter gradient-clipping thresholds as well as the magnitude of injected Gaussian noise. A soft actor-critic (SAC) hyper-policy is trained online during language model fine-tuning; it learns, from scratch, how to allocate the privacy budget where it matters and when it matters. Across more than 1,600 ablation experiments on GPT2-small, Llama-1B, Llama-3B, and Mistral-7B, RLDP delivers perplexity reductions of 1.3-30.5% (mean 5.4%) and an average 5.6% downstream utility gain. RLDP reaches each baseline's final utility after only 13-43% of the gradient-update budget (mean speed-up 71%), all while honoring the same ($\epsilon$, $\delta$)-DP contract and exhibiting equal or lower susceptibility to membership-inference and canary-extraction attacks.
Abstract（参考訳）: データプライバシとモデルユーティリティの緊張は、医療を含むセンシティブなコーパスに基づいてトレーニングされた大規模言語モデル(LLM)の実践的展開において、決定的なボトルネックとなっている。差分的にプライベートな確率勾配勾配(DP-SGD)は、正式なプライバシーを保証するが、明らかにコストがかかる: 勾配は強制的に切り取られ、ノイズでゆがめられ、サンプル効率と最終的な精度が低下する。このトレードオフを和らげるために多くのバリエーションが提案されているが、いずれもハンディキャップを共有している。その結果、実践者はユーティリティーを追求するためにプライバシー予算を超過するか、またはプライバシー制約内に留まるために中途半端なモデルを受け入れることを余儀なくされる。本稿では,DP最適化自体を,現代の深層強化学習(RL)に有効な閉ループ制御問題とみなす最初のフレームワークであるRDDPを提案する。 RLDPは、学習力学の豊富な統計を連続的に感知し、パラメータごとの勾配傾き閾値と注入されたガウス雑音の大きさを選択することで作用する。ソフトアクター批判(SAC)ハイパーポリシーは、言語モデルの微調整中にオンラインでトレーニングされる。 GPT2-small、Llama-1B、Llama-3B、Mistral-7Bの1,600以上のアブレーション実験では、RDDPは1.3-30.5%(平均5.4%)のパープレキシティ低減と平均5.6%のダウンストリームユーティリティゲインを実現している。 RLDPは、勾配更新予算(平均速度71%)のわずか13～43%で、同じ($\epsilon$, $\delta$)-DP契約を尊重し、メンバーシップ推論とカナリア抽出攻撃に対する同等または低い感受性を示す。

関連論文リスト

AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks [1.7265013728931]
本稿では,ディープニューラルネットワークに適した重要度に基づく勾配更新を備えた,新たな微分プライベートなSGDフレームワークを提案する。 AdaDPIGUは$(varepsilon, delta)$-differential privacyを満足し、収束保証を保持する。 MNISTでは、プライバシー予算が$epsilon = 8$である場合、テスト精度は99.12%に達し、非プライベートモデルとほぼ一致する。
論文参考訳（メタデータ） (2025-07-09T03:53:03Z)
$(ε, δ)$-Differentially Private Partial Least Squares Regression [1.8666451604540077]
我々は,モデルに基づくデータのプライバシーを確保するために,$(epsilon, delta)$-differentially private PLS (edPLS)アルゴリズムを提案する。実験により、EDPLSはトレーニングデータに固有の変動源を回復することを目的とした、効果的なプライバシー攻撃を施すことが示されている。
論文参考訳（メタデータ） (2024-12-12T10:49:55Z)
Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
論文参考訳（メタデータ） (2024-02-12T17:24:15Z)
Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文参考訳（メタデータ） (2024-01-09T03:53:59Z)
TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文参考訳（メタデータ） (2022-10-07T08:44:35Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。