論文の概要: LoRA and Privacy: When Random Projections Help (and When They Don't)

• arxiv url: http://arxiv.org/abs/2601.21719v1
• Date: Thu, 29 Jan 2026 13:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.863488
• Title: LoRA and Privacy: When Random Projections Help (and When They Don't)
• Title（参考訳）: LoRAとプライバシー: ランダムな予測が助けになる時(そうでない時)
• Authors: Yaxi Hu, Johanna Düngler, Bernhard Schölkopf, Amartya Sanyal,
• Abstract要約: 我々は、$S mapto M f(S)$ with $M sim W_d (1/r I_d, r)$という形のランダムマップである(ウィッシュアート)プロジェクション機構を導入し、その差分プライバシー特性について検討する。 ベクトル値が$f$の場合、付加雑音のない非漸近DP保証を証明し、ウィッシュアートのランダム性だけで十分であることを示す。 しかし,行列値クエリでは,ノイズフリーな環境では,そのメカニズムはDPではなく,その脆弱性を実証する。
• 参考スコア（独自算出の注目度）: 55.65932772290123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the (Wishart) projection mechanism, a randomized map of the form $S \mapsto M f(S)$ with $M \sim W_d(1/r I_d, r)$ and study its differential privacy properties. For vector-valued queries $f$, we prove non-asymptotic DP guarantees without any additive noise, showing that Wishart randomness alone can suffice. For matrix-valued queries, however, we establish a sharp negative result: in the noise-free setting, the mechanism is not DP, and we demonstrate its vulnerability by implementing a near perfect membership inference attack (AUC $> 0.99$). We then analyze a noisy variant and prove privacy amplification due to randomness and low rank projection, in both large- and small-rank regimes, yielding stronger privacy guarantees than additive noise alone. Finally, we show that LoRA-style updates are an instance of the matrix-valued mechanism, implying that LoRA is not inherently private despite its built-in randomness, but that low-rank fine-tuning can be more private than full fine-tuning at the same noise level. Preliminary experiments suggest that tighter accounting enables lower noise and improved accuracy in practice.
• Abstract（参考訳）: 我々は、$S \mapsto M f(S)$と$M \sim W_d(1/r I_d, r)$という形のランダムマップである(ウィッシュアート)プロジェクション機構を導入し、その差分プライバシー特性について検討する。 ベクトル値が$f$の場合、付加雑音のない非漸近DP保証を証明し、ウィッシュアートのランダム性だけで十分であることを示す。 しかし,行列値クエリの場合,ノイズフリーな環境では,そのメカニズムはDPではなく,ほぼ完全なメンバーシップ推論攻撃(AUC $> 0.99$)を実装することで,その脆弱性を実証する。 そして、ノイズの変動を分析し、ランダム性や低ランクの予測によるプライバシーの増幅を、大小両方の制度で証明し、付加的なノイズ単独よりも強力なプライバシー保証を与える。 最後に、ロラ方式の更新は行列値機構の例であり、ロラが内蔵されたランダム性にもかかわらず本質的にプライベートではないことを示すが、低ランクの微調整は、同じノイズレベルでのフル微調整よりもプライベートであることを示す。 予備的な実験は、より厳密な会計がより低いノイズと実際の精度を向上させることを示唆している。

関連論文リスト

• On the Privacy of Selection Mechanisms with Gaussian Noise [44.577599546904736]
  ガウス雑音によるReport Noisy MaxとAbove Thresholdの分析を再検討する。 その結果,Report Noisy Max の純元 DP 境界と Above Threshold の純元 DP 境界を提供することが可能であることがわかった。
  論文  参考訳（メタデータ） (2024-02-09T02:11:25Z)
• Optimizing Noise for $f$-Differential Privacy via Anti-Concentration and Stochastic Dominance [7.581259361859479]
  正準雑音分布 (CND) は, 半整数値で反集束境界に一致することを示す。 離散 CND の新たな概念を提案し、離散 CND が常に存在することを証明する。 我々の理論的結果は、$f$DPフレームワークで可能な様々な種類のプライバシー保証に光を当て、パフォーマンスを最適化するより複雑なメカニズムに組み込まれることができます。
  論文  参考訳（メタデータ） (2023-08-16T13:09:27Z)
• Differential privacy for symmetric log-concave mechanisms [0.0]
  データベースクエリ結果にランダムノイズを加えることは、プライバシを達成するための重要なツールである。 我々は、すべての対称および対数凹形ノイズ密度に対して、$(epsilon, delta)$-differential privacyに対して十分かつ必要な条件を提供する。
  論文  参考訳（メタデータ） (2022-02-23T10:20:29Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling [49.43288037509783]
  ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。 私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
  論文  参考訳（メタデータ） (2020-12-23T17:07:26Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。