論文の概要: Retain-Neutral Surrogates for Min-Max Unlearning

• arxiv url: http://arxiv.org/abs/2605.05871v1
• Date: Thu, 07 May 2026 08:38:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.636724
• Title: Retain-Neutral Surrogates for Min-Max Unlearning
• Title（参考訳）: ミニマックスアンラーニングのための残留ニュートラルサロゲート
• Authors: Junhao Cai, Dohun Kim, Dowon Kim, Sung Il Choi, Chengjun Jin, Juhyun Park, Changhee Joo,
• Abstract要約: マシンアンラーニングは、残りのデータのパフォーマンスを維持しながら、指定されたトレーニングデータの影響を除去しようとする。 min-maxアンラーニングでは、キーとなるローカルオブジェクトは、保持対象が評価される代理点である。 本稿では,一階述語ゲインを最大化することにより,内部代理構築を制約するRetain-Orthogonal Surrogate Unlearningを提案する。
• 参考スコア（独自算出の注目度）: 6.039098328985986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning seeks to remove the influence of designated training data while preserving performance on the remaining data. Approximate unlearning can be viewed as a local editing problem; in min-max unlearning, the key local object is the surrogate point at which the retain objective is evaluated. When forget and retain gradients are strongly aligned, an unconstrained forget-maximizing perturbation can move to a surrogate point that increases retain loss. We propose Retain-Orthogonal Surrogate Unlearning (ROSU), which constrains the inner surrogate construction by maximizing first-order forget gain subject to zero first-order retain change under a fixed perturbation budget. This yields a closed-form retain-orthogonal perturbation, a lightweight transported outer update, and amplification along the retain-neutral direction. Our analysis establishes (i) a curvature-controlled second-order bound on retain damage, (ii) a positive-alignment regime in which ROSU strictly reduces surrogate retain loss relative to standard min-max perturbations, and (iii) near-equivalence when the two gradients are nearly orthogonal. Across vision and language benchmarks (CIFAR-10/100, Tiny-ImageNet, TOFU, WMDP), the empirical pattern follows this geometry: ROSU gives its clearest gains in high-coupling regimes while remaining competitive elsewhere.
• Abstract（参考訳）: マシンアンラーニングは、残りのデータのパフォーマンスを維持しながら、指定されたトレーニングデータの影響を除去しようとする。 近似アンラーニングは局所的な編集問題と見なすことができ、min-maxアンラーニングでは、キーとなるローカルオブジェクトは、保持対象が評価されるサロゲートポイントである。 勾配を忘れ、保つことが強く整列すると、制約のない最大化摂動は保留損失を増加させるサロゲート点に移動する。 固定的摂動予算下での1次リザーブゲインの最大化により1次リザーブゲインを最大化し,内部サロゲート構築を制約するRetain-Orthogonal Surrogate Unlearning (ROSU)を提案する。 これにより、クローズドフォームのリテンション直交の摂動、軽量な外部更新、およびリテンションニュートラル方向の増幅が得られる。 私たちの分析が確立する 一 曲率制御二階が損傷を抑えること。 (二)ROSUが標準のmin-max摂動に対するサロゲートの損失を厳格に減少させる正アライメント体制、及び (iii) 2つの勾配がほぼ直交であるとき、ほぼ同値である。 ビジョンと言語ベンチマーク(CIFAR-10/100、Tiny-ImageNet、TOFU、WMDP)を越えて、実証的なパターンは、この幾何学に従っている。

関連論文リスト

• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• FG-OrIU: Towards Better Forgetting via Feature-Gradient Orthogonality for Incremental Unlearning [24.195588298488314]
  既存の手法は、特徴レベルと勾配レベルの両方に明示的な制約を伴わずに、パラメータを抑えるか、知識を混乱させる。 FG-OrIU (textbfFeaturetextbfGradient textbfOrthogonality for textbfIncrementaltextbfUnlearning)を提案する。 Singular Value Decomposition (SVD)を介して特徴空間を分解し、忘れられたり残ったクラス特徴を別々の部分空間に分離する。
  論文  参考訳（メタデータ） (2026-01-20T04:05:13Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Rotation Control Unlearning: Quantifying and Controlling Continuous Unlearning for LLM with The Cognitive Rotation Space [66.51378598755933]
  本研究では,学習継続過程における学習度を定量化し,制御する,回転制御アンラーニング(RCU)と呼ばれる新しい手法を提案する。 歪対称損失は、回転角の変化が連続的未学習過程をシミュレートできる認知回転空間の存在を構築するように設計されている。 複数のデータセットに対する実験により、保持されたデータセットを持たないメソッドがSOTA性能を達成することを確認した。
  論文  参考訳（メタデータ） (2025-09-30T03:59:29Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。