論文の概要: Geometric-Disentangelment Unlearning

• arxiv url: http://arxiv.org/abs/2511.17100v1
• Date: Fri, 21 Nov 2025 09:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:18.964494
• Title: Geometric-Disentangelment Unlearning
• Title（参考訳）: Geometric-Disentangelment Unlearning
• Authors: Duo Zhou, Yuji Zhang, Tianxin Wei, Ruizhong Qiu, Ke Yang, Xiao Lin, Cheng Qian, Jingrui He, Hanghang Tong, Heng Ji, Huan Zhang,
• Abstract要約: 忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
• 参考スコア（独自算出の注目度）: 106.99160454669902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning, the removal of a training subset's influence from a deployed model, is critical for privacy preservation and model reliability, yet gradient ascent on forget samples often harms retained knowledge. Existing approaches face a persistent tradeoff between effective forgetting and preservation on the retain set. While previous methods provide useful heuristics, they often lack a formal analysis on how exactly forgetting updates harm retained knowledge, and whether the side effects can be removed with theoretical guarantees. To explore a theoretically sound and simple solution, we start from the first principle on how performance on the retain set is actually affected: a first-order analysis of the local change of the retain loss under small parameter updates during model training. We start from a crisp equivalence: the retain loss is unchanged to first order iff the update direction is orthogonal to the subspace spanned by retain gradients ("retain-invariant"). This identifies the entangled component as the tangential part of forget update within the retain-gradient subspace, and characterizes disentanglement as orthogonality. Guided by this, we propose the Geometric-disentanglement Unlearning (GU) that decomposes any candidate forget gradient update into tangential and normal components to retain space and executes only the normal component. Under a standard trust-region budget, the projected direction aligned with the raw forget gradient is optimal among all first-order retain-invariant moves, and we also derive the optimal projected direction for joint forget-retain updating objectives. Our method is plug-and-play and can be attached to existing gradient-based unlearning procedures to mitigate side effects. GU achieves consistent improvement on various methods across three benchmarks TOFU, MUSE, and WMDP.
• Abstract（参考訳）: トレーニングサブセットの影響をデプロイされたモデルから排除する機械学習は、プライバシ保護とモデルの信頼性にとって重要であるが、忘れられたサンプルへの勾配は、しばしば保持された知識に害を与える。 既存のアプローチは、効果的に忘れることと保持セットの保存の間に永続的なトレードオフに直面します。 従来の手法は有用なヒューリスティックスを提供しているが、更新を正確に忘れることが知識の保持にどう影響するか、またその副作用が理論的な保証で除去できるかどうかについて、公式な分析を欠いていることが多い。 理論的に健全で単純な解を探索するために、モデルトレーニング中の小さなパラメータ更新の下でのレザートの損失の局所的変化の1次解析として、レザーセットのパフォーマンスが実際にどのように影響を受けるかという第一原理から始める。 保留損失は一階のフに変化せず、更新方向は保留勾配("retain-invariant")で囲まれた部分空間に直交する("retain-invariant")。 これにより、絡み合わされた成分は、保持次数次部分空間内でのリクット更新の接部分として特定され、非絡み合わさを直交性として特徴づける。 そこで本研究では,GU (Geometric-Disentanglement Unlearning) を提案する。 標準の信頼領域予算の下では, 原忘れ勾配に整合した投影方向は, 全1次保持不変移動において最適であり, また, 共同忘れ残更新目的に対して最適な投影方向を導出する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。 GUはTOFU、MUSE、WMDPの3つのベンチマークで様々なメソッドを一貫した改善を実現している。

関連論文リスト

• Unlearning at Scale: Implementing the Right to be Forgotten in Large Language Models [0.0]
  我々のアプローチは最小限のプログラムとして扱い、マイクロバッチレコードにログを出力する。 ピン付きスタックと決定論的カーネルの下で、トレーニングテールを再生すると、トレーニング保持セットと同じパラメータが生成される。
  論文  参考訳（メタデータ） (2025-08-17T03:29:22Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release [29.765896801370612]
  本稿では,Selective Updates and Releaseに基づく差分プライベートトレーニングフレームワークを提案する。 主な課題は、プライバシに関する懸念と、モデル更新のための勾配選択戦略の2つの側面にある。 MNIST,FMNIST, CIFAR-10, IMDBデータセットを用いて行った実験により, DPSURは収束速度において従来よりも大幅に優れていたことがわかった。
  論文  参考訳（メタデータ） (2023-11-23T15:19:30Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。