論文の概要: PRISM: Gauge-Invariant Tangent-Space Differentially Private LoRA

• arxiv url: http://arxiv.org/abs/2606.00944v1
• Date: Sun, 31 May 2026 01:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.992627
• Title: PRISM: Gauge-Invariant Tangent-Space Differentially Private LoRA
• Title（参考訳）: PRISM:Gauge-invariant Tangent-Space Differentially Private LoRA
• Authors: Shihao Wang, Xueru Zhang,
• Abstract要約: DP-SGD をこれらの因子に直接適用すると、Z$ のゲージ依存摂動が誘導されることを示す。 建設によってゲージ不変となるLoRAの固有DP機構であるPRISMを提案する。 PRISMは、Z$で誘導される有効固有雑音の閉形式的特徴を与える。
• 参考スコア（独自算出の注目度）: 19.1320842971294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying differential privacy (DP) via DP-SGD to Low-Rank Adaptation (LoRA) is a natural approach for privacy-preserving fine-tuning. However, LoRA's low-rank parameterization poses a fundamental challenge. In LoRA, each trainable update is represented as a low-rank matrix $Z = AB^\top$, but this factorization is inherently non-identifiable: many factor pairs $(A,B)$ represent the same update $Z$. As a result, applying DP-SGD directly to the factors induces gauge-dependent perturbations on $Z$, and we show that this naive DP-LoRA can lead to unbounded noise amplification. We propose PRISM, an intrinsic DP mechanism for LoRA that is gauge invariant by construction, avoids bilinear noise amplification, and admits an efficient low-dimensional noise sampler. Moreover, PRISM yields a closed-form characterization of the effective intrinsic noise induced on $Z$, enabling stable privacy-utility trade-offs through bounded, gauge-invariant perturbations. We establish standard $(ε,δ)$-DP guarantees for PRISM and introduce a DP-aware, gauge-invariant adaptive update rule that prevents adaptive optimization from amplifying injected privacy noise, improving numerical stability in practice.
• Abstract（参考訳）: DP-SGDによる差分プライバシー(DP)をローランド適応(LoRA)に適用することは、プライバシー保護のための自然なアプローチである。 しかし、LoRAの低ランクパラメータ化は根本的な課題である。 LoRA では、各トレーニング可能な更新は、低ランク行列 $Z = AB^\top$ として表現されるが、この分解は本質的には非識別である: 多くの因子対 $(A,B)$ は同じ更新 $Z$ を表す。 その結果,DP-SGDを直接適用することで,Z$のゲージ依存摂動を誘導し,この単純DP-LoRAが非有界雑音増幅に繋がることを示した。 提案するPRISMは,ロラの固有DP機構であり,構成によって不変であり,双線形雑音増幅を回避し,高効率な低次元雑音サンプリング器を実現する。 さらに、PRISMは、Z$で誘導される有効固有ノイズの閉形式的特徴を与え、有界ゲージ不変摂動による安定したプライバシー利用トレードオフを可能にする。 PRISMの標準$(ε,δ)$-DP保証を確立し、DP対応のゲージ不変な適応更新ルールを導入する。

関連論文リスト

• Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization [8.171217925484921]
  パラメータ効率の良い微調整によるフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA)は、グローバルアグリゲーション中にエラーを導入し、差分プライバシー(DP)の負の効果を増幅する。 サーバサイドアグリゲーションを再活性化する,差分的にプライベートなクロスサイロFLフレームワークであるFedPowerを提案する。
  論文  参考訳（メタデータ） (2026-05-08T20:06:09Z)
• LoRA and Privacy: When Random Projections Help (and When They Don't) [55.65932772290123]
  我々は、$S mapto M f(S)$ with $M sim W_d (1/r I_d, r)$という形のランダムマップである(ウィッシュアート)プロジェクション機構を導入し、その差分プライバシー特性について検討する。 ベクトル値が$f$の場合、付加雑音のない非漸近DP保証を証明し、ウィッシュアートのランダム性だけで十分であることを示す。 しかし,行列値クエリでは,ノイズフリーな環境では,そのメカニズムはDPではなく,その脆弱性を実証する。
  論文  参考訳（メタデータ） (2026-01-29T13:43:37Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• DEeR: Deviation Eliminating and Noise Regulating for Privacy-preserving Federated Low-rank Adaptation [29.30782543513243]
  我々は、UnderlineDeviation UnderlineEliminatingとNoisunderlinee Underline Regulating (DEeR)と呼ばれるプライバシー保護フェデレーションファインタニングフレームワークを提案する。 DeeRは、最先端のアプローチと比較して、公開医療データセットのパフォーマンスが向上していることを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:11:52Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。