論文の概要: Leveraging Distribution Matching to Make Approximate Machine Unlearning Faster
- arxiv url: http://arxiv.org/abs/2507.09786v3
- Date: Mon, 04 Aug 2025 19:45:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 15:23:34.570609
- Title: Leveraging Distribution Matching to Make Approximate Machine Unlearning Faster
- Title（参考訳）: 分散マッチングを活用して近似マシンの学習を高速化する
- Authors: Junaid Iqbal Khan,
- Abstract要約: Approximate Machine Unlearning (AMU)は、トレーニングセットの保持部分集合を特別に微調整することで、モデルを特定のトレーニングデータを忘れることを可能にする。
任意の分類指向AMU法を高速化する2つの補完手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approximate machine unlearning (AMU) enables models to `forget' specific training data through specialized fine-tuning on a retained (and forget) subset of training set. However, processing this large retained subset still dominates computational runtime, while reductions of unlearning epochs also remain a challenge. In this paper, we propose two complementary methods to accelerate arbitrary classification-oriented AMU method. First, \textbf{Blend}, a novel distribution-matching dataset condensation (DC), merges visually similar images with shared blend-weights to significantly reduce the retained set size. It operates with minimal pre-processing overhead and is orders of magnitude faster than state-of-the-art DC methods. Second, our loss-centric method, \textbf{Accelerated-AMU (A-AMU)}, augments the AMU objective to quicken convergence. A-AMU achieves this by combining a steepened primary loss to expedite forgetting with a differentiable regularizer that matches the loss distributions of forgotten and in-distribution unseen data. Our extensive experiments demonstrate that this dual approach of data and loss-centric optimization dramatically reduces end-to-end unlearning latency across both single and multi-round scenarios, all while preserving model utility and privacy. To our knowledge, this is the first work to systematically tackle unlearning efficiency by jointly designing a specialized dataset condensation technique with a dedicated accelerated loss function. Code is available at https://github.com/algebraicdianuj/DC_Unlearning.
- Abstract（参考訳）: Approximate Machine Unlearning(AMU)は、モデルがトレーニングセットの保持(および忘れ)サブセットを特別に微調整することで、特定のトレーニングデータを“忘れる”ことを可能にする。
しかし、この大きな保持部分集合の処理は依然として計算ランタイムを支配しているが、未学習のエポックの削減も課題である。
本稿では,任意の分類指向AMU法を高速化する2つの補完手法を提案する。
第一に、新しい分布マッチングデータセット凝縮(DC)である‘textbf{Blend} は、視覚的に類似した画像を共有混合重みとマージすることで、保持されたセットサイズを大幅に削減する。
最小限の事前処理オーバーヘッドで動作し、最先端のDCメソッドよりも桁違いに高速である。
第二に、損失中心の方法である \textbf{Accelerated-AMU (A-AMU)} は、収束を早めるためにAMUの目的を増大させる。
A-AMUは、急激な一次損失と、忘れられたデータと配布されていないデータの損失分布とを一致させる微分正則化器とを組み合わせることで、これを達成している。
我々の広範な実験は、このデータと損失中心最適化の2つのアプローチが、モデルユーティリティとプライバシを保ちながら、単一のシナリオとマルチラウンドシナリオの両方にわたるエンドツーエンドのアンラーニングレイテンシを劇的に減少させることを示した。
我々の知る限り、これは特別なデータセット凝縮技術と専用加速損失関数を共同で設計することで、非学習効率に体系的に対処する最初の試みである。
コードはhttps://github.com/algebraicdianuj/DC_Unlearning.comで入手できる。
関連論文リスト
- A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation [16.82426251068573]
リンク予測(LP)は、グラフ機械学習において重要なタスクである。
既存の手法は、疎結合性からの限られた監督を含む重要な課題に直面している。
これらの課題に対処するためのソリューションとして,事前学習について検討する。
論文 参考訳（メタデータ） (2025-08-06T17:10:31Z) - FedOSAA: Improving Federated Learning with One-Step Anderson Acceleration [3.096113258362507]
Federated Learning(FL)は、複数のローカルクライアントと中央サーバが協力してモデルをトレーニングできる分散機械学習アプローチである。
特に分散低減手法を取り入れた一階法は、単純な実装と安定した性能のため、最も広く使われているFLアルゴリズムである。
本稿では,2次法に典型的に関連する高速収束を達成しつつ,1次法の簡易性を維持する新しい手法であるFedOSAAを提案する。
論文 参考訳（メタデータ） (2025-03-14T00:10:02Z) - Efficient Distributed Learning over Decentralized Networks with Convoluted Support Vector Machine [2.722434989508884]
本稿では,分散ネットワーク上での高次元データを効率的に分類する問題に対処する。
我々は、ペナル化SVMを解くために、乗算器の効率的な一般化交互方向法(ADMM)を開発した。
論文 参考訳（メタデータ） (2025-03-10T17:31:26Z) - Linearly Convergent Mixup Learning [0.0]
より広い範囲のバイナリ分類モデルに拡張する2つの新しいアルゴリズムを提案する。
勾配に基づくアプローチとは異なり、我々のアルゴリズムは学習率のようなハイパーパラメータを必要とせず、実装と最適化を単純化する。
我々のアルゴリズムは、降下勾配法と比較して最適解への高速収束を実現し、ミックスアップデータの増大は、様々な損失関数の予測性能を一貫して改善する。
論文 参考訳（メタデータ） (2025-01-14T02:33:40Z) - Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳（メタデータ） (2024-07-16T06:38:49Z) - Dataset Condensation with Latent Quantile Matching [5.466962214217334]
電流分布マッチング (DM) に基づく直流法は, 合成外乱と実外乱の遅延埋め込みの平均をマッチングすることにより, 合成データセットを学習する。
本稿では,2つの分布間の適合試験統計量の良さを最小化するために,遅延埋め込みの量子化と一致する潜在量子マッチング(LQM)を提案する。
論文 参考訳（メタデータ） (2024-06-14T09:20:44Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳（メタデータ） (2023-03-30T03:22:52Z) - Meta Clustering Learning for Large-scale Unsupervised Person
Re-identification [124.54749810371986]
メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。
MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。
提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
論文 参考訳（メタデータ） (2021-11-19T04:10:18Z) - Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。
Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。
オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文 参考訳（メタデータ） (2020-12-12T02:50:09Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳（メタデータ） (2020-10-05T01:58:32Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。