論文の概要: Membership Privacy Risks of Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2310.00488v3
• Date: Fri, 17 Oct 2025 21:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.006427
• Title: Membership Privacy Risks of Sharpness Aware Minimization
• Title（参考訳）: シャープネスを意識したメンバーシッププライバシリスクの最小化
• Authors: Young In Kim, Andrea Agiollo, Pratiksha Agrawal, Johannes O. Royset, Rajiv Khanna,
• Abstract要約: Sharpness-Aware Minimization (SAM) は従来のSGDよりもメンバシップ推論攻撃の傾向が強い。 SAMは非定型的なサブパターンを記憶しやすくし、より一般化されているが、プライバシーリスクが高いと推測する。
• 参考スコア（独自算出の注目度）: 8.799166719034123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization algorithms that seek flatter minima such as Sharpness-Aware Minimization (SAM) are widely credited with improved generalization. We ask whether such gains impact membership privacy. Surprisingly, we find that SAM is more prone to membership inference attacks than classical SGD across multiple datasets and attack methods, despite achieving lower test error. This is an intriguing phenomenon as conventional belief posits that higher membership privacy risk is associated with poor generalization. We conjecture that SAM is capable of memorizing atypical subpatterns more, leading to better generalization but higher privacy risk. We empirically validate our hypothesis by running extensive analysis on memorization and influence scores. Finally, we theoretically show how a model that captures minority subclass features more can effectively generalize better \emph{and} have higher membership privacy risk.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) のようなフラットな最小値を求める最適化アルゴリズムは、一般化の改善に広く貢献している。 このような利益が会員のプライバシーに影響を及ぼすかどうかを問う。 意外なことに、SAMは、テストエラーが低いにもかかわらず、複数のデータセットやアタックメソッドにまたがる古典的なSGDよりも、メンバシップ推論攻撃が多い。 従来の信念では、より高いメンバーシップのプライバシーリスクは、一般化の欠如と関連していると仮定しているため、これは興味深い現象である。 SAMは非定型的なサブパターンを記憶しやすくし、より一般化されているが、プライバシーリスクが高いと推測する。 記憶と影響のスコアを広範囲に分析することで仮説を実証的に検証する。 最後に, 少数サブクラスの特徴をより多く捉えたモデルが, メンバーシッププライバシのリスクが高いことを理論的に示す。

関連論文リスト

• LoRA and Privacy: When Random Projections Help (and When They Don't) [55.65932772290123]
  我々は、$S mapto M f(S)$ with $M sim W_d (1/r I_d, r)$という形のランダムマップである(ウィッシュアート)プロジェクション機構を導入し、その差分プライバシー特性について検討する。 ベクトル値が$f$の場合、付加雑音のない非漸近DP保証を証明し、ウィッシュアートのランダム性だけで十分であることを示す。 しかし,行列値クエリでは,ノイズフリーな環境では,そのメカニズムはDPではなく,その脆弱性を実証する。
  論文  参考訳（メタデータ） (2026-01-29T13:43:37Z)
• Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification [113.6840565194525]
  実世界のデータセットは長い尾の分布に従うことが多く、尾のクラスへの一般化は困難である。 近年,ロスランドスケープを平坦化して一般化を改善するため,シャープネス・アウェア最小化法 (SAM) の長尾変種を利用した手法が提案されている。 クラスごとに異なる罰則を割り当てるFocal-SAMを導入し、余分なバックプロパゲーションを伴わずにきめ細かい制御を実現する。
  論文  参考訳（メタデータ） (2025-05-03T03:01:28Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Multi-Objective Optimization-Based Anonymization of Structured Data for Machine Learning [0.5452584641316627]
  本研究は,プライバシ保護のための既存最適化モデルにおける重要な制約を明らかにする。 本稿では,情報損失を同時に最小化し,攻撃に対する防御を最大化する新しい多目的最適化モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-02T01:52:36Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Membership Inference Attacks Against In-Context Learning [26.57639819629732]
  In-Context Learning (ICL) に適した最初のメンバシップ推論攻撃を提案する。 様々な制約シナリオに合わせた4つの攻撃戦略を提案する。 本稿では,データ,命令,出力を対象とする3つの潜在的防御について検討する。
  論文  参考訳（メタデータ） (2024-09-02T17:23:23Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• A Game-Theoretic Approach to Privacy-Utility Tradeoff in Sharing Genomic Summary Statistics [24.330984323956173]
  本稿では,ゲノムサマリー統計の共有において,最適なプライバシ・ユーティリティ・トレードオフのためのゲーム理論フレームワークを提案する。 実験により,提案手法は,技術状況よりも強力な攻撃と強力な防衛戦略をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-06-03T22:09:47Z)
• Synergizing Privacy and Utility in Data Analytics Through Advanced Information Theorization [2.28438857884398]
  本稿では,高次元画像データに適したノイズ注入技術,ロバストな特徴抽出のための変分オートエンコーダ(VAE),構造化データプライバシに最適化された期待最大化(EM)アプローチの3つの高度なアルゴリズムを紹介する。 本手法は,機密属性と変換データ間の相互情報を著しく低減し,プライバシーを向上する。 この研究は、さまざまなデータタイプにまたがってプライバシ保護アルゴリズムをデプロイするための柔軟で効果的な戦略を提供することによって、この分野に貢献する。
  論文  参考訳（メタデータ） (2024-04-24T22:58:42Z)
• From Mean to Extreme: Formal Differential Privacy Bounds on the Success of Real-World Data Reconstruction Attacks [54.25638567385662]
  機械学習における微分プライバシーは、しばしばメンバーシップ推論に対する保証として解釈される。 DP予算を定量的な保護に翻訳することで、データ再構築の脅威を悪化させることは、依然として困難な課題である。 本稿では、実証された"ゼロスクラッチ"攻撃のメカニズムに合わせた、最初の公式なプライバシー境界を導出することで、臨界ギャップを埋める。
  論文  参考訳（メタデータ） (2024-02-20T09:52:30Z)
• ImbSAM: A Closer Look at Sharpness-Aware Minimization in Class-Imbalanced Recognition [62.20538402226608]
  シャープネス・アウェアの最小化(SAM)は,クラス不均衡条件下での一般化問題に対処できないことを示す。 このボトルネックを克服するために,Im Balanced-SAM (ImbSAM) というクラス認識スムーズネス最適化アルゴリズムを提案する。 我々のImbSAMは、テールクラスと異常に対する顕著なパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2023-08-15T14:46:32Z)
• Differentially Private Sharpness-Aware Training [5.488902352630076]
  差分プライバシー(DP)を用いたディープラーニングモデルのトレーニングでは、パフォーマンスが低下する。 また, 平らなミニマは, 傾斜別クリッピングによる負の効果を低減できることを示した。 本稿では,プライバシ最適化のトレードオフを緩和する,シャープネスを考慮した新たなトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:37:27Z)
• Sharpness-Aware Minimization Revisited: Weighted Sharpness as a Regularization Term [10.35944008042387]
  正規化項としてシャープネスを組み込んだWSAMという,より一般的な手法を提案する。 PACとBayes-PACの併用による一般化を実証する。 その結果、WSAMは、バニラやSAMとその変種と比較して、より改良された一般化を達成するか、少なくとも高い競争力を持つことを示した。
  論文  参考訳（メタデータ） (2023-05-25T08:00:34Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• Towards Understanding Sharpness-Aware Minimization [27.666483899332643]
  Sharpness-Aware Minimization (SAM) の成功に対する既存の正当化は、PACBayes の一般化に基づいていると論じる。 対角線ネットワークの暗黙バイアスを理論的に解析する。 SAMで標準モデルを微調整することで、非シャープネットワークの特性を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-13T15:07:32Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• Adversarially Robust Classification based on GLRT [26.44693169694826]
  本稿では,一般確率比検定(GLRT)に基づく防衛戦略について述べる。 GLRT法は, 最悪の攻撃条件下でのミニマックス法と競合することを示す。 また、GLRTディフェンスは、最適ミニマックス分類器が不明なより複雑なモデルに自然に一般化する。
  論文  参考訳（メタデータ） (2020-11-16T10:16:05Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。