論文の概要: Loss is Not Behavior: A Unified Output-Space Analysis of Gradient-Based Machine Unlearning

• arxiv url: http://arxiv.org/abs/2610.38784v1
• Date: Wed, 28 Oct 2026 19:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.409474
• Title: Loss is Not Behavior: A Unified Output-Space Analysis of Gradient-Based Machine Unlearning
• Title（参考訳）: Loss is not Behavior: A Unified Output-Space Analysis of Gradient-based Machine Unlearning
• Abstract要約: 自己平均値の保持と相互平均値の保持は、忘れ残差が忘れ残差に与える影響を駆動し、出力を保持することを示す。 筆者らのフレームワークは,事前計算可能なレバレッジ診断を用いて,学習が成功しそうな勾配に基づくアンラーニングのタイプを特定する。
• 参考スコア（独自算出の注目度）: 6.8132221309860945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based machine unlearning methods typically ``unlearn'' by optimizing forget and retain losses, but similar losses do not necessarily imply similar output-space behavior. Prior work has shown that high forget loss alone does not certify that unlearning has produced retraining-like output behavior. We therefore ask: when a gradient-based unlearner differs from the model that would have been learned on only the retain data, what structure does the resulting output-space gap have? We derive closed-form expressions for this gap in linear regression, with an extension to nonlinear models via a generalized Gauss-Newton and local linearity approximations. Our analysis puts various gradient-based methods under a unified framework parametrized by geometry, reweighting, and projection. Two leverage matrices emerge that capture the forget-retain entanglement under the retrained model geometry: forget self-leverage and retain cross-leverage. We show both theoretically and empirically that these two leverage matrices drive the impact of the forget residual on the forget and retain outputs, and existing methods account for this geometry only partially. Our framework yields precomputable leverage diagnostics for auditing forget sets to identify what type of gradient-based unlearning is likely to be successful.
• Abstract（参考訳）: グラディエントベースのマシンアンラーニング手法は、通常「'unlearn''」で、損失を最大化して保持するが、同様の損失は必ずしも同様のアウトプット空間の振る舞いを暗示しない。 以前の研究は、忘れがちな損失だけでは、未学習がリトレーニングのようなアウトプット行動を生み出したことを証明していないことを示した。 したがって、勾配に基づくアンリーナーが、保持データのみに基づいて学習されたであろうモデルと異なる場合、出力空間のギャップはどのような構造を持つのか? 一般化されたガウスニュートンによる非線形モデルの拡張と局所線型性近似を用いて、線形回帰におけるこのギャップに対する閉形式式を導出する。 我々の分析は、幾何、再重み付け、投射によってパラメータ化された統一された枠組みの下に、様々な勾配に基づく手法を配置する。 2つのレバレッジ行列が出現し、リトレーニングされたモデル幾何の下で、忘れがちな絡み合いを捉えます。 これら2つの行列を理論的・実証的に用いた場合、忘れた残差が出力と残差に与える影響が示され、既存の手法はこの幾何を部分的にしか説明できない。 筆者らのフレームワークは,事前計算可能なレバレッジ診断を用いて,学習が成功しそうな勾配に基づくアンラーニングのタイプを特定する。

関連論文リスト

• Hidden not Deleted: How Networks Suppress Entangled Features [0.0]
  線形射影を通した概念消去手法は,特徴が分離可能な部分空間を占めることを前提としている。 2つの特徴が1つのサブスペースを共有する反ポッド対に強制されると、最先端の線形消去はターゲットだけでなく両方を破壊する。 勾配勾配勾配で訓練されたネットワークは、この問題を非線形に解決するが、一様ではない。
  論文  参考訳（メタデータ） (2026-09-23T09:10:12Z)
• Alternate loss functions and regression models that achieve robustness to outliers by modulating the learning rate [5.974437898820796]
  ほとんどの実世界のトレーニングデータセットは、データと外れ値で汚染され、大きな予測エラーにつながる。 そこで本稿では,学習のアプローチが,外れ値に敏感な要因によって調節されるような,新たな堅牢性を実現することを提案する。
  論文  参考訳（メタデータ） (2026-06-20T14:39:32Z)
• The Geometry of Projection Heads: Conditioning, Invariance, and Collapse [0.0]
  自己教師型学習における投影頭部の幾何学的理論を開発する。 線形ヘッドが暗黙的な部分空間白化を行うのに対し、非線形ヘッドは局所的なメトリクスを適応させ、損失の特定の位相的制約を満たすことを示す。
  論文  参考訳（メタデータ） (2026-05-16T22:32:05Z)
• Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning [71.96329385684395]
  勾配上昇(GA)に代わるモデル外挿法を提案する。 言い換えると、記憶モデルから参照モデルへの外挿によって、忘れモデルが得られる。 モデル外挿法の実装はシンプルで効率的であり、トレーニング全体を通して効果的に収束し、未学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2026-02-06T07:11:27Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Robustness of Nonlinear Representation Learning [60.15898117103069]
  本研究では,教師なし表現学習の問題を,わずかに不特定な環境で研究する。 混合は線形変換と小さな誤差で識別可能であることを示す。 これらの結果は、実世界のデータに対する教師なし表現学習における識別可能性向上へのステップである。
  論文  参考訳（メタデータ） (2025-03-19T15:57:03Z)
• Adversarial Dependence Minimization [78.36795688238155]
  この研究は、線形対のデコリレーションを超越した依存最小化のための微分可能でスケーラブルなアルゴリズムを提供する。 我々は,PCAを非線形デコリレーションに拡張し,画像分類法の一般化を改良し,自己教師あり表現学習における次元的崩壊を防止する3つのアプリケーションでその実用性を実証する。
  論文  参考訳（メタデータ） (2025-02-05T14:43:40Z)
• Hessian-Free Online Certified Unlearning [8.875278412741695]
  ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。 提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Nonparametric Trace Regression in High Dimensions via Sign Series Representation [13.37650464374017]
  高次元関数の構造的符号系列表現による非パラメトリックトレース回帰モデルのためのフレームワークを開発する。 行列完備化の文脈において、我々のフレームワークは、行列の「符号ランク」と呼ばれるものに基づいて、かなりリッチなモデルへと導かれる。
  論文  参考訳（メタデータ） (2021-05-04T22:20:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。