論文の概要: Privacy Enhanced PEFT: Tensor Train Decomposition Improves Privacy Utility Tradeoffs under DP-SGD

• arxiv url: http://arxiv.org/abs/2601.10045v1
• Date: Thu, 15 Jan 2026 03:41:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:18.980639
• Title: Privacy Enhanced PEFT: Tensor Train Decomposition Improves Privacy Utility Tradeoffs under DP-SGD
• Title（参考訳）: プライバシー強化PEFT: DP-SGDの下でのプライバシーユーティリティトレードオフを改善するテンソルトレイン分解
• Authors: Pradip Kunwar, Minh Vu, Maanak Gupta, Manish Bhattarai,
• Abstract要約: センシティブなデータに基づく微調整言語モデルは、プライバシのリスクを引き起こす。 そこで,Train Low-Rank Adaptation (TTLoRA) は,有効パラメータ空間を縮小することにより,プライバシ・ユーティリティのトレードオフを改善することができることを示す。
• 参考スコア（独自算出の注目度）: 2.1119949597227863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models on sensitive data poses significant privacy risks, as membership inference attacks can reveal whether individual records were used during training. While Differential Privacy (DP) provides formal protection, applying DP to conventional Parameter-Efficient Fine-Tuning (PEFT) methods such as Low-Rank Adaptation (LoRA) often incurs substantial utility loss. In this work, we show that a more structurally constrained PEFT architecture, Tensor Train Low-Rank Adaptation (TTLoRA), can improve the privacy-utility tradeoff by shrinking the effective parameter space while preserving expressivity. To this end, we develop TTLoRA-DP, a differentially private training framework for TTLoRA. Specifically, we extend the ghost clipping algorithm to Tensor Train cores via cached contraction states, enabling efficient Differentially Private Stochastic Gradient Descent (DP-SGD) with exact per-example gradient norm computation without materializing full per-example gradients. Experiments on GPT-2 fine-tuning over the Enron and Penn Treebank datasets show that TTLoRA-DP consistently strengthens privacy protection relative to LoRA-DP while maintaining comparable or better downstream utility. Moreover, TTLoRA exhibits lower membership leakage even without DP training, using substantially smaller adapters and requiring on average 7.6X fewer parameters than LoRA. Overall, our results demonstrate that TTLoRA offers a practical path to improving the privacy-utility tradeoff in parameter-efficient language model adaptation.
• Abstract（参考訳）: 機密データに対する微調整された大きな言語モデルは、トレーニング中に個々のレコードが使用されたかどうかをメンバーシップ推論攻撃が明らかにするので、重大なプライバシー上のリスクをもたらす。 差分プライバシー (DP) は形式的保護を提供するが、低ランク適応 (LoRA) のような従来のパラメータ効率のよい細調整 (PEFT) 手法に DP を適用することは、しばしばかなりの有用性を失う。 本研究では,より構造的に制約されたPEFTアーキテクチャであるTTLoRA(Tensor Train Low-Rank Adaptation)が,表現性を保ちながら有効パラメータ空間を縮小することにより,プライバシ・ユーティリティのトレードオフを改善することができることを示す。 この目的のために,TTLoRAのための差分プライベートトレーニングフレームワークであるTTLoRA-DPを開発した。 具体的には、ストローククリッピングアルゴリズムをキャッシュされた収縮状態を介してテンソルトレインコアに拡張し、完全な指数勾配を具体化せずに、正確な指数勾配正規計算で効率的な微分独立確率勾配 Descent (DP-SGD) を実現する。 GPT-2によるEnronとPenn Treebankデータセットの微調整実験により、TTLoRA-DPは、同等またはより良いダウンストリームユーティリティを維持しながら、LoRA-DPに対するプライバシー保護を一貫して強化することが示された。 さらに、TTLoRAはDPトレーニングなしでも低いメンバシップリークを示し、アダプタはかなり小さく、LoRAよりも平均7.6倍少ないパラメータを必要とする。 その結果,TTLoRAはパラメータ効率のよい言語モデルの適応において,プライバシ・ユーティリティ・トレードオフを改善するための実践的な方法であることがわかった。

関連論文リスト

• Local Layer-wise Differential Privacy in Federated Learning [9.065322387043544]
  Federated Learning(FL)は、直接的なデータ共有なしに協調的なモデルトレーニングを可能にするが、モデル反転やメンバシップ推論といったプライバシ攻撃には弱いままである。 既存のFLの差分プライバシ(DP)ソリューションは、しばしばモデル全体にわたってノイズを均一に注入し、最適なプライバシとユーティリティのトレードオフを提供しながら、実用性を低下させる。 モデル精度を維持しながらプライバシ保護を最適化するFL用レイヤワイド適応型ノイズ注入機構であるLaDPを提案する。
  論文  参考訳（メタデータ） (2026-01-05T02:23:31Z)
• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
  フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。 差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
  論文  参考訳（メタデータ） (2024-05-10T10:10:37Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。