論文の概要: Membership Privacy Risks of Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2310.00488v3
• Date: Fri, 17 Oct 2025 21:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.006427
• Title: Membership Privacy Risks of Sharpness Aware Minimization
• Title（参考訳）: シャープネスを意識したメンバーシッププライバシリスクの最小化
• Authors: Young In Kim, Andrea Agiollo, Pratiksha Agrawal, Johannes O. Royset, Rajiv Khanna,
• Abstract要約: Sharpness-Aware Minimization (SAM) は従来のSGDよりもメンバシップ推論攻撃の傾向が強い。 SAMは非定型的なサブパターンを記憶しやすくし、より一般化されているが、プライバシーリスクが高いと推測する。
• 参考スコア（独自算出の注目度）: 8.799166719034123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization algorithms that seek flatter minima such as Sharpness-Aware Minimization (SAM) are widely credited with improved generalization. We ask whether such gains impact membership privacy. Surprisingly, we find that SAM is more prone to membership inference attacks than classical SGD across multiple datasets and attack methods, despite achieving lower test error. This is an intriguing phenomenon as conventional belief posits that higher membership privacy risk is associated with poor generalization. We conjecture that SAM is capable of memorizing atypical subpatterns more, leading to better generalization but higher privacy risk. We empirically validate our hypothesis by running extensive analysis on memorization and influence scores. Finally, we theoretically show how a model that captures minority subclass features more can effectively generalize better \emph{and} have higher membership privacy risk.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) のようなフラットな最小値を求める最適化アルゴリズムは、一般化の改善に広く貢献している。 このような利益が会員のプライバシーに影響を及ぼすかどうかを問う。 意外なことに、SAMは、テストエラーが低いにもかかわらず、複数のデータセットやアタックメソッドにまたがる古典的なSGDよりも、メンバシップ推論攻撃が多い。 従来の信念では、より高いメンバーシップのプライバシーリスクは、一般化の欠如と関連していると仮定しているため、これは興味深い現象である。 SAMは非定型的なサブパターンを記憶しやすくし、より一般化されているが、プライバシーリスクが高いと推測する。 記憶と影響のスコアを広範囲に分析することで仮説を実証的に検証する。 最後に, 少数サブクラスの特徴をより多く捉えたモデルが, メンバーシッププライバシのリスクが高いことを理論的に示す。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Multi-Objective Optimization-Based Anonymization of Structured Data for Machine Learning [0.5452584641316627]
  本研究は,プライバシ保護のための既存最適化モデルにおける重要な制約を明らかにする。 本稿では,情報損失を同時に最小化し,攻撃に対する防御を最大化する新しい多目的最適化モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-02T01:52:36Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Synergizing Privacy and Utility in Data Analytics Through Advanced Information Theorization [2.28438857884398]
  本稿では,高次元画像データに適したノイズ注入技術,ロバストな特徴抽出のための変分オートエンコーダ(VAE),構造化データプライバシに最適化された期待最大化(EM)アプローチの3つの高度なアルゴリズムを紹介する。 本手法は,機密属性と変換データ間の相互情報を著しく低減し,プライバシーを向上する。 この研究は、さまざまなデータタイプにまたがってプライバシ保護アルゴリズムをデプロイするための柔軟で効果的な戦略を提供することによって、この分野に貢献する。
  論文  参考訳（メタデータ） (2024-04-24T22:58:42Z)
• Differentially Private Sharpness-Aware Training [5.488902352630076]
  差分プライバシー(DP)を用いたディープラーニングモデルのトレーニングでは、パフォーマンスが低下する。 また, 平らなミニマは, 傾斜別クリッピングによる負の効果を低減できることを示した。 本稿では,プライバシ最適化のトレードオフを緩和する,シャープネスを考慮した新たなトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:37:27Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。