論文の概要: Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement
- arxiv url: http://arxiv.org/abs/2409.19732v1
- Date: Sun, 29 Sep 2024 15:17:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 21:19:41.248453
- Title: Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement
- Title（参考訳）: 残留幾何強化を用いた一元化勾配型機械学習
- Authors: Zhehao Huang, Xinwen Cheng, JingHao Zheng, Haoran Wang, Zhengbao He, Tao Li, Xiaolin Huang,
- Abstract要約: 深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。
近似MUは大規模モデルの実用的手法である。
本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
- 参考スコア（独自算出の注目度）: 29.675650285351768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning (MU) has emerged to enhance the privacy and trustworthiness of deep neural networks. Approximate MU is a practical method for large-scale models. Our investigation into approximate MU starts with identifying the steepest descent direction, minimizing the output Kullback-Leibler divergence to exact MU inside a parameters' neighborhood. This probed direction decomposes into three components: weighted forgetting gradient ascent, fine-tuning retaining gradient descent, and a weight saliency matrix. Such decomposition derived from Euclidean metric encompasses most existing gradient-based MU methods. Nevertheless, adhering to Euclidean space may result in sub-optimal iterative trajectories due to the overlooked geometric structure of the output probability space. We suggest embedding the unlearning update into a manifold rendered by the remaining geometry, incorporating second-order Hessian from the remaining data. It helps prevent effective unlearning from interfering with the retained performance. However, computing the second-order Hessian for large-scale models is intractable. To efficiently leverage the benefits of Hessian modulation, we propose a fast-slow parameter update strategy to implicitly approximate the up-to-date salient unlearning direction. Free from specific modal constraints, our approach is adaptable across computer vision unlearning tasks, including classification and generation. Extensive experiments validate our efficacy and efficiency. Notably, our method successfully performs class-forgetting on ImageNet using DiT and forgets a class on CIFAR-10 using DDPM in just 50 steps, compared to thousands of steps required by previous methods.
- Abstract（参考訳）: 深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。
近似MUは大規模モデルの実用的手法である。
約MUに関する我々の研究は、パラメータの近傍の正確なMUへの出力Kulback-Leiblerの発散を最小限に抑え、最も急降下方向を特定することから始まる。
このプローブ方向は、重み付き忘れ勾配上昇、微調整による勾配降下、重み付き塩分濃度行列の3つの成分に分解される。
ユークリッド計量から導かれるそのような分解は、既存の勾配に基づくMU法の大半を包含する。
それでもユークリッド空間に付着すると、出力確率空間の見過ごされた幾何学的構造のために、準最適反復軌道が生じる可能性がある。
残りの幾何によって表現された多様体に、未学習の更新を埋め込むことを提案し、残りのデータから2階ヘッセンを組み込む。
効果的なアンラーニングが維持されたパフォーマンスに干渉するのを防ぐのに役立つ。
しかし、大規模モデルに対する2階Hessianの計算は難解である。
ヘッセン変調の利点を効果的に活用するために,最新の正解な未学習方向を暗黙的に近似する高速スローパラメータ更新戦略を提案する。
特定のモーダル制約がなければ、我々のアプローチは、分類や生成を含む、コンピュータビジョンの未学習タスクに適応できる。
大規模な実験は、我々の有効性と効率を検証します。
特に,DiTを用いたImageNetのクラスフォゲッティングに成功し,DDPMを用いたCIFAR-10のクラスを50ステップで忘れることに成功した。
関連論文リスト
- Massive Dimensions Reduction and Hybridization with Meta-heuristics in Deep Learning [0.24578723416255746]
ヒストグラムに基づく微分進化(HBDE)は、パラメータを最適化するために勾配に基づくアルゴリズムと勾配のないアルゴリズムをハイブリダイズする。
HBDEは、CIFAR-10とCIFAR-100データセットに基づいて評価されたベースライン勾配と親勾配のないDEMアルゴリズムより優れている。
論文 参考訳（メタデータ） (2024-08-13T20:28:20Z) - Class Gradient Projection For Continual Learning [99.105266615448]
破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。
タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
論文 参考訳（メタデータ） (2023-11-25T02:45:56Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-10-07T03:52:27Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。
Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
論文 参考訳（メタデータ） (2021-09-07T20:19:40Z) - SHINE: SHaring the INverse Estimate from the forward pass for bi-level
optimization and implicit models [15.541264326378366]
近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。
トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。
本稿では,この計算ボトルネックに対処する新たな手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T15:07:34Z) - Randomized Automatic Differentiation [22.95414996614006]
我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。
RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。
本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
論文 参考訳（メタデータ） (2020-07-20T19:03:44Z) - Learning to Optimize Non-Rigid Tracking [54.94145312763044]
我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。
まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。
次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
論文 参考訳（メタデータ） (2020-03-27T04:40:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。