論文の概要: Why Some Models Resist Unlearning: A Linear Stability Perspective

• arxiv url: http://arxiv.org/abs/2602.02986v1
• Date: Tue, 03 Feb 2026 01:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.182177
• Title: Why Some Models Resist Unlearning: A Linear Stability Perspective
• Title（参考訳）: モデルが未学習のまま残る理由:線形安定性の観点から
• Authors: Wei-Kai Chang, Rajiv Khanna,
• Abstract要約: 我々は線形コヒーレンス安定性のレンズを通してアンラーニングを行う。 我々は3つの軸に沿ってコヒーレンスを分解する。 データ特性と忘れやすさを更に関連付けるために,信号+雑音モデルの下で2層ReLU CNNについて検討する。 経験的幾何学では、ヘッセンテストとCNNヒートマップが予測境界と密接に一致していることを示し、安定性勾配に基づくアンラーニングを検証、混合、データ/モデルアライメントの関数としてマッピングする。
• 参考スコア（独自算出の注目度）: 7.446140380340418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning, the ability to erase the effect of specific training samples without retraining from scratch, is critical for privacy, regulation, and efficiency. However, most progress in unlearning has been empirical, with little theoretical understanding of when and why unlearning works. We tackle this gap by framing unlearning through the lens of asymptotic linear stability to capture the interaction between optimization dynamics and data geometry. The key quantity in our analysis is data coherence which is the cross sample alignment of loss surface directions near the optimum. We decompose coherence along three axes: within the retain set, within the forget set, and between them, and prove tight stability thresholds that separate convergence from divergence. To further link data properties to forgettability, we study a two layer ReLU CNN under a signal plus noise model and show that stronger memorization makes forgetting easier: when the signal to noise ratio (SNR) is lower, cross sample alignment is weaker, reducing coherence and making unlearning easier; conversely, high SNR, highly aligned models resist unlearning. For empirical verification, we show that Hessian tests and CNN heatmaps align closely with the predicted boundary, mapping the stability frontier of gradient based unlearning as a function of batching, mixing, and data/model alignment. Our analysis is grounded in random matrix theory tools and provides the first principled account of the trade offs between memorization, coherence, and unlearning.
• Abstract（参考訳）: 機械学習は、特定のトレーニングサンプルの効果をスクラッチからトレーニングすることなく消し去る能力であり、プライバシ、規制、効率性にとって重要である。 しかしながら、アンラーニングのほとんどの進歩は経験的であり、アンラーニングがいつ、なぜ機能するのかについての理論的にはほとんど理解されていない。 このギャップを、漸近線形安定性のレンズを通して解き放つことで解決し、最適化力学とデータ幾何学の相互作用を捉える。 分析の鍵となるのはデータコヒーレンスであり、これは最適近傍の損失面方向のクロスサンプルアライメントである。 我々は3つの軸に沿ってコヒーレンスを分解する: 留置集合内、留置集合内、およびそれらの間のコヒーレンスを分解し、発散から収束を分離する厳密な安定性しきい値を証明する。 本研究では,信号+雑音モデルに基づく2層ReLU CNNについて検討し,信号対雑音比(SNR)が低い場合,クロスサンプルアライメントが弱く,コヒーレンスを低減し,未学習を容易にし,逆に高いSNR,高度に整列されたモデルでは未学習に抵抗することを示す。 実験的な検証のために,HessianテストとCNNヒートマップは予測境界と密接に一致し,勾配に基づく未学習の安定性フロンティアをバッチ処理,混合,データ/モデルアライメントの関数としてマッピングする。 我々の分析はランダム行列理論ツールに基礎を置いており、暗記、コヒーレンス、未学習の間のトレードオフの第一原理的な説明を提供する。

関連論文リスト

• Robustness of Probabilistic Models to Low-Quality Data: A Multi-Perspective Analysis [23.834741751854448]
  低品質データの効果に関する体系的な比較研究は、現代の確率モデルにまたがる頑健性のスペクトルを明らかにしている。 トークン予測からシーケンス・ツー・シーケンス・タスクに至るまで,自動回帰言語モデルは極めてレジリエンスであることがわかった。 同じレベルのデータ破損の下で、クラス条件拡散モデルは破滅的に劣化する。
  論文  参考訳（メタデータ） (2025-12-11T02:10:41Z)
• Phase transitions reveal hierarchical structure in deep neural networks [0.0]
  本稿では,Deep Neural Networksにおける位相遷移が,ロスランドスケープにおけるサドルポイントによって制御されていることを示す。 我々は,L2正規化器を誤差景観の幾何学を探索するツールとして用いた,単純で高速で実装が容易なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-12-05T15:14:09Z)
• A Unified Stability Analysis of SAM vs SGD: Role of Data Coherence and Emergence of Simplicity Bias [7.446140380340418]
  勾配降下(SGD)とその変種は、よく一般化する解を確実に見つけるが、この一般化を導くメカニズムはいまだ不明である。 本研究では,SGD,ランダム摂動,SAMの挙動を,特に2層ReLUネットワーク上で解析する線形安定性フレームワークを開発する。 私たちの分析の中心は、データポイント間の勾配曲率の整合性を定量化するコヒーレンス尺度であり、トレーニング中に特定のミニマが安定して好まれる理由を明らかにしている。
  論文  参考訳（メタデータ） (2025-11-21T16:41:14Z)
• Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
  スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。 我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。 データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
  論文  参考訳（メタデータ） (2025-09-23T16:05:16Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Training Dynamics of Nonlinear Contrastive Learning Model in the High Dimensional Limit [1.7597525104451157]
  モデル重みの実験的分布は、マッキーン・ブラソフ非線形偏微分方程式(PDE)によって支配される決定論的尺度に収束する L2正則化の下で、このPDEは低次元常微分方程式(ODE)の閉集合に還元する。 ODEの固定点位置とその安定性を解析し,いくつかの興味深い結果を示した。
  論文  参考訳（メタデータ） (2024-06-11T03:07:41Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。