論文の概要: Hessian-Free Online Certified Unlearning

• arxiv url: http://arxiv.org/abs/2404.01712v4
• Date: Thu, 06 Feb 2025 13:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 15:30:40.21061
• Title: Hessian-Free Online Certified Unlearning
• Title（参考訳）: Hessian-free Online Certified Unlearning
• Authors: Xinbao Qiao, Meng Zhang, Ming Tang, Ermin Wei,
• Abstract要約: ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。 提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.875278412741695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning strives to uphold the data owners' right to be forgotten by enabling models to selectively forget specific data. Recent advances suggest pre-computing and storing statistics extracted from second-order information and implementing unlearning through Newton-style updates. However, the Hessian matrix operations are extremely costly and previous works conduct unlearning for empirical risk minimizer with the convexity assumption, precluding their applicability to high-dimensional over-parameterized models and the nonconvergence condition. In this paper, we propose an efficient Hessian-free unlearning approach. The key idea is to maintain a statistical vector for each training data, computed through affine stochastic recursion of the difference between the retrained and learned models. We prove that our proposed method outperforms the state-of-the-art methods in terms of the unlearning and generalization guarantees, the deletion capacity, and the time/storage complexity, under the same regularity conditions. Through the strategy of recollecting statistics for removing data, we develop an online unlearning algorithm that achieves near-instantaneous data removal, as it requires only vector addition. Experiments demonstrate that our proposed scheme surpasses existing results by orders of magnitude in terms of time/storage costs with millisecond-level unlearning execution, while also enhancing test accuracy.
• Abstract（参考訳）: 機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 最近の進歩は、二階情報から抽出された統計データを事前計算し保存し、ニュートンスタイルの更新を通じてアンラーニングを実装することを示唆している。 しかし、ヘッセン行列演算は非常にコストがかかり、以前の研究は凸性仮定による経験的リスク最小化のための未学習を行い、高次元の過度パラメータ化モデルと非収束状態に適用可能であることを前提にしている。 本稿では,効率的なヘッセン自由学習手法を提案する。 鍵となる考え方は、各トレーニングデータに対する統計ベクトルを、再訓練されたモデルと学習されたモデルの違いのアフィン確率的再帰を通じて計算することである。 提案手法は, 学習・一般化保証, 削除能力, 時間/記憶の複雑さの観点から, 同じ規則性条件下で, 最先端の手法よりも優れていることを示す。 データを削除するための統計を再現する戦略を通じて、ベクトル加算のみを必要とするため、ほぼ瞬時にデータを除去するオンラインの未学習アルゴリズムを開発する。 実験により,提案手法は,ミリ秒単位のアンラーニング実行による時間/記憶コストの面で,既存の結果を桁違いに上回り,テスト精度も向上することを示した。

関連論文リスト

• Statistically Testing Training Data for Unwanted Error Patterns using Rule-Oriented Regression [0.5831737970661137]
  本稿では,欠陥に対するトレーニングデータをテストし,その後の機械学習モデルのトレーニングのための信頼性の高い基盤構造を確立する方法を提案する。 我々の手法は、テスト条件'をデータ内のパターンを記述する条件とすることで、従来の統計的テストの能力を拡張します。 デモと実験のためのオープンソース実装を提供しています。
  論文  参考訳（メタデータ） (2025-03-24T09:52:36Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions [11.955062839855334]
  機械学習アルゴリズムは、データのプライバシを強制したり、腐敗または時代遅れのデータを削除したり、ユーザの忘れる権利を尊重するために、スクラッチからモデルから効率的にデータを取得することを目的としています。 我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配勾配のモデルに直接適用できる。
  論文  参考訳（メタデータ） (2024-09-15T15:58:08Z)
• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Online Tensor Inference [0.0]
  従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。 既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。 本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
  論文  参考訳（メタデータ） (2023-12-28T16:37:48Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Random Relabeling for Efficient Machine Unlearning [8.871042314510788]
  個人が個人データと関連するデータプライバシ規則を撤回する権利は、機械学習に大きな課題をもたらす。 本研究では,逐次データ削除要求を効率的に処理するためのランダムな学習手法を提案する。 確率分布の類似性に基づく制約の少ない除去証明法も提案する。
  論文  参考訳（メタデータ） (2023-05-21T02:37:26Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Forget Unlearning: Towards True Data-Deletion in Machine Learning [18.656957502454592]
  アンラーニングはデータ削除と同等ではなく、「忘れられる権利」を保証していないことを示す。 本稿では,オンライン環境での精度,計算効率,セキュアなデータ削除機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-17T10:06:11Z)
• Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
  本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。 計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-09-25T17:20:33Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Regression-based projection for learning Mori-Zwanzig operators [0.0]
  本稿では,フォレスト・ズワンジッヒ形式論における演算子のデータ駆動学習を可能にするために,統計的回帰を射影演算子として採用することを提案する。 本稿では,森プロジェクション演算子に基づく最近提案されたデータ駆動学習アルゴリズムにおける線形回帰結果の選択について述べる。
  論文  参考訳（メタデータ） (2022-05-10T19:35:47Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Monotonic Cardinality Estimation of Similarity Selection: A Deep Learning Approach [22.958342743597044]
  類似度選択の基数推定にディープラーニングを活用する可能性について検討する。 本稿では,任意のデータ型や距離関数に適用可能な,新規で汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2020-02-15T20:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。