論文の概要: Spectral Saliency for Machine Unlearning
- arxiv url: http://arxiv.org/abs/2608.15548v1
- Date: Sun, 16 Aug 2026 05:44:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.33614
- Title: Spectral Saliency for Machine Unlearning
- Title(参考訳): 機械学習のためのスペクトル・サリエンシ
- Abstract要約: 機械学習(MU)は、モデルユーティリティを保持しながら、特定のトレーニングデータの影響を取り除くことを目的としている。
本稿では、弱い特異成分をしきい値にし、確実な未学習信号で支えられる方向のみを更新するスペクトル・サリエンシ・アンラーニング(SSU)を提案する。
- 参考スコア(独自算出の注目度): 30.769424654889235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning (MU) aims to remove the influence of specific training data while preserving model utility. As the name suggests, MU can be viewed as the inverse of learning, using gradient-based updates to reduce the influence of a forget-set by counteracting the previously learned behavior. Recently, Muon, a gradient descent variant, has been introduced. Muon applies spectral magnitude normalization to encourage exploration of rare directions and demonstrates promising performance. Inspired by Muon, we adopt the spectral view for unlearning and propose Spectral Saliency Unlearning (SSU). SSU thresholds weak singular components and updates only those directions supported by a confident unlearning signal. We further provide theoretical justification for this thresholding approach from the perspective of the forgetting-retention trade-off. Experiments across image classifiers, diffusion models, and LLMs demonstrate SSU's effectiveness.
- Abstract(参考訳): 機械学習(MU)は、モデルユーティリティを保持しながら、特定のトレーニングデータの影響を取り除くことを目的としている。
その名が示すように、MUは学習の逆と見なすことができ、グラデーションベースの更新を使用して、それまでの学習行動に対抗して、忘れセットの影響を低減する。
近年、勾配降下変種であるムオンが導入されている。
ムオンは希少な方向の探索を奨励し、有望な性能を示すためにスペクトル等級正規化を適用している。
ムオンに触発されて、スペクトルビューを未学習に適用し、SSU(Spectral Saliency Unlearning)を提案する。
SSUは弱い特異成分をしきい値にし、自信のない未学習信号で支えられた方向のみを更新する。
さらに, 留保トレードオフの観点から, このしきい値化アプローチの理論的正当性についても論じる。
画像分類器、拡散モデル、LLMによる実験は、SSUの有効性を示す。
関連論文リスト
- The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。
この操作によって生成される最適化バイアスについて検討する。
論文 参考訳(メタデータ) (2026-06-07T00:51:30Z) - Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering [32.15111956211244]
ムオンの運動量はスペクトルフィルタとして作用することを示す。
摂動前の運動量を適用することは、この順序を逆転させるか、単に運動量を取り除くよりも、勾配の信号成分との配向を確実に強くする。
論文 参考訳(メタデータ) (2026-06-02T16:54:38Z) - Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation [72.05592785529404]
UDMの標準プラグインブリッジパラメタライゼーションは,後側頭蓋に最適化されないことを示す。
また,UDM関節法をマスク拡散様サンプリング操作に分解して保存する均一拡散の吸収状態再構成も導入した。
論文 参考訳(メタデータ) (2026-05-21T17:27:19Z) - DynMuon: A Dynamic Spectral Shaping View of Muon [12.175075916077702]
M$を$Up Vtop$に置き換え、あるパラメータを$p$にします。
そこで我々はDynMuonを提案する。DynMuonは、トレーニング時に正からわずかに負に$p$をスケジュールする効率的な動的スペクトル整形法である。
論文 参考訳(メタデータ) (2026-05-16T18:30:11Z) - SRL-MAD: Structured Residual Latents for One-Class Morphing Attack Detection [5.931399156681511]
オープンセット型モーフィング攻撃検出のための構造的残差フーリエ表現を用いた一級シングルイメージMADであるSRL-MADを紹介する。
SRL-MADは最近の一級・教師付きMADモデルより一貫して優れていた。
論文 参考訳(メタデータ) (2026-03-16T10:05:44Z) - Generative Model Inversion Through the Lens of the Manifold Hypothesis [98.37040155914595]
モデル反転攻撃(MIA)は、訓練されたモデルからクラス表現型サンプルを再構成することを目的としている。
最近の生成的MIAは、生成的敵ネットワークを使用して、反転過程を導く画像の事前学習を行う。
論文 参考訳(メタデータ) (2025-09-24T14:39:25Z) - Frequency Domain-Based Diffusion Model for Unpaired Image Dehazing [92.61216319417208]
そこで本稿では,未確認データにおける有益な知識を十分に活用するための,新しい周波数領域ベース拡散モデルを提案する。
拡散モデル(DM)が示す強い生成能力に着想を得て,周波数領域再構成の観点からデハージング課題に取り組む。
論文 参考訳(メタデータ) (2025-07-02T01:22:46Z) - One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。
われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。
本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
論文 参考訳(メタデータ) (2025-02-27T07:47:27Z) - Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。
我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。
E-SSLの実用設計の原則をいくつか明らかにする。
論文 参考訳(メタデータ) (2024-11-10T16:09:47Z) - Interpreting and Improving Diffusion Models from an Optimization Perspective [4.5993996573872185]
我々はこの観測を用いて、ユークリッド距離関数に適用された近似勾配勾配勾配として拡散モデルを解釈する。
本稿では,理論結果からの洞察を用いてDDIMを一般化した新しい勾配推定サンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T00:56:33Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳(メタデータ) (2022-07-16T19:25:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。