論文の概要: On Memorization and Privacy Risks of Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2310.00488v2
• Date: Wed, 3 Jan 2024 13:23:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 16:47:43.732665
• Title: On Memorization and Privacy Risks of Sharpness Aware Minimization
• Title（参考訳）: シャープネス認識の最小化における記憶とプライバシーリスクについて
• Authors: Young In Kim, Pratiksha Agrawal, Johannes O. Royset, Rajiv Khanna
• Abstract要約: シャープネス認識最小化(SAM)によって達成される一般化ゲインは、非定型データポイントに対して特に顕著である。 この洞察はSAMに関連する高いプライバシーリスクを明らかにするのに役立ち、徹底的な経験的評価を通じて検証する。
• 参考スコア（独自算出の注目度）: 7.515042219136927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many recent works, there is an increased focus on designing algorithms that seek flatter optima for neural network loss optimization as there is empirical evidence that it leads to better generalization performance in many datasets. In this work, we dissect these performance gains through the lens of data memorization in overparameterized models. We define a new metric that helps us identify which data points specifically do algorithms seeking flatter optima do better when compared to vanilla SGD. We find that the generalization gains achieved by Sharpness Aware Minimization (SAM) are particularly pronounced for atypical data points, which necessitate memorization. This insight helps us unearth higher privacy risks associated with SAM, which we verify through exhaustive empirical evaluations. Finally, we propose mitigation strategies to achieve a more desirable accuracy vs privacy tradeoff.
• Abstract（参考訳）: 近年の多くの研究において、ニューラルネットワーク損失最適化のためのフラットな最適化を求めるアルゴリズムの設計に焦点が当てられている。 本研究では,オーバーパラメータモデルにおけるデータ記憶のレンズを通して,これらの性能向上を解析する。 バニラSGDと比較して、より平坦な最適解を求めるアルゴリズムがどのデータポイントに特化しているかを特定するのに役立つ新しい指標を定義する。 Sharpness Aware Minimization (SAM) によって達成される一般化の利点は、特に記憶を必要とする非定型データポイントに対して顕著である。 この洞察はSAMに関連する高いプライバシーリスクを明らかにするのに役立ち、徹底的な経験的評価を通じて検証する。 最後に、より望ましい精度とプライバシーのトレードオフを達成するための緩和戦略を提案する。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Synergizing Privacy and Utility in Data Analytics Through Advanced Information Theorization [2.28438857884398]
  本稿では,高次元画像データに適したノイズ注入技術,ロバストな特徴抽出のための変分オートエンコーダ(VAE),構造化データプライバシに最適化された期待最大化(EM)アプローチの3つの高度なアルゴリズムを紹介する。 本手法は,機密属性と変換データ間の相互情報を著しく低減し,プライバシーを向上する。 この研究は、さまざまなデータタイプにまたがってプライバシ保護アルゴリズムをデプロイするための柔軟で効果的な戦略を提供することによって、この分野に貢献する。
  論文  参考訳（メタデータ） (2024-04-24T22:58:42Z)
• Differentially Private Sharpness-Aware Training [5.488902352630076]
  差分プライバシー(DP)を用いたディープラーニングモデルのトレーニングでは、パフォーマンスが低下する。 また, 平らなミニマは, 傾斜別クリッピングによる負の効果を低減できることを示した。 本稿では,プライバシ最適化のトレードオフを緩和する,シャープネスを考慮した新たなトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:37:27Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。