論文の概要: Sharpness-Aware Machine Unlearning

• arxiv url: http://arxiv.org/abs/2506.13715v1
• Date: Mon, 16 Jun 2025 17:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:49.101187
• Title: Sharpness-Aware Machine Unlearning
• Title（参考訳）: シャープネス対応機械の学習
• Authors: Haoran Tang, Rajiv Khanna,
• Abstract要約: 機械非学習方式におけるシャープネス認識記憶(SAM)の有効性を特徴付ける。 SAM は,信号強度に応じて様々なテスト誤差境界を導出し,そのようなデノナイジング性を捨てることを示す。 本稿では,シャープMinMaxを提案する。シャープMinMaxは,SAMによる信号の学習と,シャープネスによる誤り信号の学習を行う。
• 参考スコア（独自算出の注目度）: 7.49246786268212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We characterize the effectiveness of Sharpness-aware minimization (SAM) under machine unlearning scheme, where unlearning forget signals interferes with learning retain signals. While previous work prove that SAM improves generalization with noise memorization prevention, we show that SAM abandons such denoising property when fitting the forget set, leading to various test error bounds depending on signal strength. We further characterize the signal surplus of SAM in the order of signal strength, which enables learning from less retain signals to maintain model performance and putting more weight on unlearning the forget set. Empirical studies show that SAM outperforms SGD with relaxed requirement for retain signals and can enhance various unlearning methods either as pretrain or unlearn algorithm. Observing that overfitting can benefit more stringent sample-specific unlearning, we propose Sharp MinMax, which splits the model into two to learn retain signals with SAM and unlearn forget signals with sharpness maximization, achieving best performance. Extensive experiments show that SAM enhances unlearning across varying difficulties measured by data memorization, yielding decreased feature entanglement between retain and forget sets, stronger resistance to membership inference attacks, and a flatter loss landscape.
• Abstract（参考訳）: 本研究では,学習履歴信号が学習履歴信号に干渉する機械学習スキームにおいて,シャープネス認識最小化(SAM)の有効性を特徴付ける。 従来の研究は、SAMがノイズ記憶防止による一般化を改善することを証明しているが、SAMは、忘れセットを適合させる際にそのようなデノナイジング特性を放棄し、信号強度に応じて様々なテスト誤差境界をもたらすことを示した。 さらに,信号強度の順にSAMの信号余剰を特徴付けることにより,保持信号の少ない学習によるモデル性能の維持と,未知集合の学習への重み付けが可能となる。 経験的な研究によると、SAMは信号を保持するための緩やかな要求でSGDより優れており、事前学習または未学習のアルゴリズムとして様々な未学習の手法を強化することができる。 オーバーフィッティングがより厳密なサンプル固有アンラーニングに有効であることを示すシャープMinMaxを提案する。これは、モデルを2つに分割し、SAMで保持信号を学習し、鋭さを最大化し、最高の性能を達成する。 広範な実験により、SAMはデータの記憶によって測定される様々な困難を未学習で改善し、保持セットと忘れセット間の特徴の絡み合いを減らし、メンバーシップ推論攻撃に対する強い抵抗と、より平らなロスランドスケープをもたらすことが示されている。

関連論文リスト

• Sharpness-Aware Minimization Efficiently Selects Flatter Minima Late in Training [47.25594539120258]
  Sharpness-Aware Minimization (SAM) はトレーニングの遅滞時に効率よくフラットなミニマを選択する。 SAMの訓練の終わりに応用されたいくつかのエポックでさえ、完全なSAMトレーニングとほぼ同じシャープネスと解のシャープネスをもたらす。 我々は、最終解の物性を形作る上で、最終相で選択した最適化法がより重要であると推測する。
  論文  参考訳（メタデータ） (2024-10-14T10:56:42Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• Why Does Sharpness-Aware Minimization Generalize Better Than SGD? [102.40907275290891]
  シャープネス・アウェアの最小化(SAM)がデータモデルや2層畳み込みReLUネットワークに対してグラディエントDescent(SGD)よりも優れていることを示す。 その結果,SAMの利点,特に早期の雑音学習を防止し,特徴のより効果的な学習を容易にする能力について解説した。
  論文  参考訳（メタデータ） (2023-10-11T07:51:10Z)
• Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
  この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。 地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。 損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
  論文  参考訳（メタデータ） (2023-09-27T13:18:23Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。