論文の概要: Statistical Roughness-Informed Machine Unlearning

• arxiv url: http://arxiv.org/abs/2602.09304v1
• Date: Tue, 10 Feb 2026 00:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.300634
• Title: Statistical Roughness-Informed Machine Unlearning
• Title（参考訳）: 統計的粗さインフォームド・マシン・アンラーニング
• Authors: Mohammad Partohaghighi, Roummel Marcia, Bruce J. West, YangQuan Chen,
• Abstract要約: 機械学習の目的は、トレーニングされたモデルから指定された忘れ物セットの影響を取り除き、保持されたデータにユーティリティを保存することである。 本研究では,非学習更新を再配置するメカニズムファーストなアンラーニングアルゴリズムSRAGUを提案する。
• 参考スコア（独自算出の注目度）: 3.8218584696400484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning aims to remove the influence of a designated forget set from a trained model while preserving utility on the retained data. In modern deep networks, approximate unlearning frequently fails under large or adversarial deletions due to pronounced layer-wise heterogeneity: some layers exhibit stable, well-regularized representations while others are brittle, undertrained, or overfit, so naive update allocation can trigger catastrophic forgetting or unstable dynamics. We propose Statistical-Roughness Adaptive Gradient Unlearning (SRAGU), a mechanism-first unlearning algorithm that reallocates unlearning updates using layer-wise statistical roughness operationalized via heavy-tailed spectral diagnostics of layer weight matrices. Starting from an Adaptive Gradient Unlearning (AGU) sensitivity signal computed on the forget set, SRAGU estimates a WeightWatcher-style heavy-tailed exponent for each layer, maps it to a bounded spectral stability weight, and uses this stability signal to spectrally reweight the AGU sensitivities before applying the same minibatch update form. This concentrates unlearning motion in spectrally stable layers while damping updates in unstable or overfit layers, improving stability under hard deletions. We evaluate unlearning via behavioral alignment to a gold retrained reference model trained from scratch on the retained data, using empirical prediction-divergence and KL-to-gold proxies on a forget-focused query set; we additionally report membership inference auditing as a complementary leakage signal, treating forget-set points as should-be-forgotten members during evaluation.
• Abstract（参考訳）: 機械学習の目的は、トレーニングされたモデルから指定された忘れ物セットの影響を取り除き、保持されたデータにユーティリティを保存することである。 現代のディープネットワークでは、階層的な不均一さが顕著に示されるため、概算未学習は大きなあるいは反対の削除の下で頻繁に失敗する: ある層は安定で規則化された表現を示し、他の層は脆く、訓練されていない、あるいは過度に適合しているため、単純更新アロケーションは破滅的な忘れまたは不安定なダイナミクスを引き起こす可能性がある。 本稿では,階層重み行列の重み付きスペクトル診断により演算された層次統計粗さを用いて,アンラーニング更新を再配置する機構ファーストなアンラーニングアルゴリズムSRAGUを提案する。 アダプティブ・グラディエント・アンラーニング(AGU)感度信号から、SRAGUは各層に対してWeightWatcherスタイルの重み付き指数を推定し、それを有界スペクトル安定性重みにマッピングし、この安定性信号を使用してAGU感度をスペクトル的に改善し、同じミニバッチ更新形式を適用する。 これにより、スペクトル的に安定な層での未学習動作に集中し、不安定な層や過度な層での更新を抑え、ハード削除時の安定性を向上させる。 実験的予測偏差とKL-to-goldプロキシを用いて,残余データに基づいてスクラッチから訓練したゴールドリトレーニング参照モデルに対する行動アライメントによる未学習の評価を行い,さらに,相補的漏洩信号として会員推定監査を報告する。

関連論文リスト

• Adaptive Learning Guided by Bias-Noise-Alignment Diagnostics [0.7519872646378835]
  本稿では,誤り適応進化を明示的にモデル化する診断駆動学習フレームワークを提案する。 これらの診断は、損失または時間差(TD)誤差軌跡の軽量統計からオンラインで計算される。
  論文  参考訳（メタデータ） (2025-12-30T19:57:52Z)
• Stable Forgetting: Bounded Parameter-Efficient Unlearning in LLMs [30.089412595436585]
  我々は,大規模な言語モデル (LLM) のフィードフォワード層において,左折集合の上昇がいかに最適化を不安定化させるかを説明する理論的枠組みを提供する。 本研究では, パラメータ効率のよい手法である境界境界アンラーニングを提案し, 適応子に有界関数を適用することにより微調整を安定化する。 提案手法は,LLMにおける非学習のための理論的基盤と実践的拡張性を備えた枠組みを確立するとともに,保持状態を維持しながら忘れることの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-09-29T01:30:15Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise [2.048226951354646]
  本稿では,チェックポイントからのリセットにより,ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングする際の一般化性能が大幅に向上することを示す。 ノイズの多いラベルが存在する場合、DNNはまずデータの一般的なパターンを学習するが、徐々に破損したデータを記憶し、過度に適合する。 勾配降下(SGD)のダイナミクスを分解することにより,雑音ラベルによる遅延勾配バイアスの挙動を同定し,一般化を損なう。
  論文  参考訳（メタデータ） (2024-06-01T10:45:41Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。