論文の概要: Privacy Enhanced PEFT: Tensor Train Decomposition Improves Privacy Utility Tradeoffs under DP-SGD

• arxiv url: http://arxiv.org/abs/2601.10045v1
• Date: Thu, 15 Jan 2026 03:41:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:18.980639
• Title: Privacy Enhanced PEFT: Tensor Train Decomposition Improves Privacy Utility Tradeoffs under DP-SGD
• Title（参考訳）: プライバシー強化PEFT: DP-SGDの下でのプライバシーユーティリティトレードオフを改善するテンソルトレイン分解
• Authors: Pradip Kunwar, Minh Vu, Maanak Gupta, Manish Bhattarai,
• Abstract要約: センシティブなデータに基づく微調整言語モデルは、プライバシのリスクを引き起こす。 そこで,Train Low-Rank Adaptation (TTLoRA) は,有効パラメータ空間を縮小することにより,プライバシ・ユーティリティのトレードオフを改善することができることを示す。
• 参考スコア（独自算出の注目度）: 2.1119949597227863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models on sensitive data poses significant privacy risks, as membership inference attacks can reveal whether individual records were used during training. While Differential Privacy (DP) provides formal protection, applying DP to conventional Parameter-Efficient Fine-Tuning (PEFT) methods such as Low-Rank Adaptation (LoRA) often incurs substantial utility loss. In this work, we show that a more structurally constrained PEFT architecture, Tensor Train Low-Rank Adaptation (TTLoRA), can improve the privacy-utility tradeoff by shrinking the effective parameter space while preserving expressivity. To this end, we develop TTLoRA-DP, a differentially private training framework for TTLoRA. Specifically, we extend the ghost clipping algorithm to Tensor Train cores via cached contraction states, enabling efficient Differentially Private Stochastic Gradient Descent (DP-SGD) with exact per-example gradient norm computation without materializing full per-example gradients. Experiments on GPT-2 fine-tuning over the Enron and Penn Treebank datasets show that TTLoRA-DP consistently strengthens privacy protection relative to LoRA-DP while maintaining comparable or better downstream utility. Moreover, TTLoRA exhibits lower membership leakage even without DP training, using substantially smaller adapters and requiring on average 7.6X fewer parameters than LoRA. Overall, our results demonstrate that TTLoRA offers a practical path to improving the privacy-utility tradeoff in parameter-efficient language model adaptation.
• Abstract（参考訳）: 機密データに対する微調整された大きな言語モデルは、トレーニング中に個々のレコードが使用されたかどうかをメンバーシップ推論攻撃が明らかにするので、重大なプライバシー上のリスクをもたらす。 差分プライバシー (DP) は形式的保護を提供するが、低ランク適応 (LoRA) のような従来のパラメータ効率のよい細調整 (PEFT) 手法に DP を適用することは、しばしばかなりの有用性を失う。 本研究では,より構造的に制約されたPEFTアーキテクチャであるTTLoRA(Tensor Train Low-Rank Adaptation)が,表現性を保ちながら有効パラメータ空間を縮小することにより,プライバシ・ユーティリティのトレードオフを改善することができることを示す。 この目的のために,TTLoRAのための差分プライベートトレーニングフレームワークであるTTLoRA-DPを開発した。 具体的には、ストローククリッピングアルゴリズムをキャッシュされた収縮状態を介してテンソルトレインコアに拡張し、完全な指数勾配を具体化せずに、正確な指数勾配正規計算で効率的な微分独立確率勾配 Descent (DP-SGD) を実現する。 GPT-2によるEnronとPenn Treebankデータセットの微調整実験により、TTLoRA-DPは、同等またはより良いダウンストリームユーティリティを維持しながら、LoRA-DPに対するプライバシー保護を一貫して強化することが示された。 さらに、TTLoRAはDPトレーニングなしでも低いメンバシップリークを示し、アダプタはかなり小さく、LoRAよりも平均7.6倍少ないパラメータを必要とする。 その結果,TTLoRAはパラメータ効率のよい言語モデルの適応において,プライバシ・ユーティリティ・トレードオフを改善するための実践的な方法であることがわかった。

関連論文リスト

• Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models [14.755143405057929]
  差分プライベートラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。 Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前訓練した重みを凍結することにより、計算と通信のコストを削減する。 LA-LoRAは、勾配の相互作用を分離し、クライアント間で更新方向を調整し、厳密なプライバシー制約の下で堅牢性を高める新しいアプローチである。
  論文  参考訳（メタデータ） (2026-02-23T15:05:28Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Local Layer-wise Differential Privacy in Federated Learning [9.065322387043544]
  Federated Learning(FL)は、直接的なデータ共有なしに協調的なモデルトレーニングを可能にするが、モデル反転やメンバシップ推論といったプライバシ攻撃には弱いままである。 既存のFLの差分プライバシ(DP)ソリューションは、しばしばモデル全体にわたってノイズを均一に注入し、最適なプライバシとユーティリティのトレードオフを提供しながら、実用性を低下させる。 モデル精度を維持しながらプライバシ保護を最適化するFL用レイヤワイド適応型ノイズ注入機構であるLaDPを提案する。
  論文  参考訳（メタデータ） (2026-01-05T02:23:31Z)
• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• PEFT-as-an-Attack! Jailbreaking Language Models during Federated Parameter-Efficient Fine-Tuning [8.61459170031022]
  本稿では,PEFT-as-an-Attack(PaaA)と呼ばれる新たなセキュリティ脅威をFedPEFTに導入する。 PaaAの評価では、モデルのパラメータの1%未満がトレーニング可能であり、クライアントの少数のサブセットが悪意を持って行動しているため、LoRAなどの代表PEFT手法を用いて攻撃成功率が約80%に達することが判明した。 この結果から,FedPEFTパラダイムの安全性確保と性能維持を同時に行う,より効果的な防衛機構の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-11-28T19:05:01Z)
• Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning [9.39508697970812]
  本稿では,異なるパラメータに対する適応的なペナルティを用いることで,L1正規化の簡単な修正を提案する。 PASTの背後にある重要な考え方は、プライバシーの漏洩に大きく貢献するパラメータの分散を促進することです。 PASTを使用すると、ネットワークはメンバーと非メンバーの間の損失ギャップを縮小し、プライバシー攻撃に対する強い抵抗をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T12:13:49Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
  フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。 差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
  論文  参考訳（メタデータ） (2024-05-10T10:10:37Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。