論文の概要: Orthogonal Soft Pruning for Efficient Class Unlearning

• arxiv url: http://arxiv.org/abs/2506.19891v1
• Date: Tue, 24 Jun 2025 09:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.480474
• Title: Orthogonal Soft Pruning for Efficient Class Unlearning
• Title（参考訳）: 授業学習の効率化を目的とした直交型ソフトプルーニング
• Authors: Qinghui Gong, Xue Yang, Xiaohu Tang,
• Abstract要約: そこで本研究では,ミリ秒レベルの応答時間で高速かつ高精度な記憶を実現するための,クラス認識型ソフトプルーニングフレームワークを提案する。 提案手法は,クラス固有のチャネルを効率的に識別しながら,畳み込みフィルタと区切られた特徴表現をデコレーションする。
• 参考スコア（独自算出の注目度）: 26.76186024947296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning aims to selectively remove class-specific knowledge from pretrained neural networks to satisfy privacy regulations such as the GDPR. Existing methods typically face a trade-off between unlearning speed and preservation of predictive accuracy, often incurring either high computational overhead or significant performance degradation on retained classes. In this paper, we propose a novel class-aware soft pruning framework leveraging orthogonal convolutional kernel regularization to achieve rapid and precise forgetting with millisecond-level response times. By enforcing orthogonality constraints during training, our method decorrelates convolutional filters and disentangles feature representations, while efficiently identifying class-specific channels through activation difference analysis. Extensive evaluations across multiple architectures and datasets demonstrate stable pruning with near-instant execution, complete forgetting of targeted classes, and minimal accuracy loss on retained data. Experiments on CIFAR-10, CIFAR-100, and TinyImageNet confirm that our approach substantially reduces membership inference attack risks and accelerates unlearning by orders of magnitude compared to state-of-the-art baselines. This framework provides an efficient, practical solution for real-time machine unlearning in Machine Learning as a Service (MLaaS) scenarios.
• Abstract（参考訳）: 機械学習の目的は、GDPRのようなプライバシー規制を満たすために、事前訓練されたニューラルネットワークからクラス固有の知識を選択的に除去することである。 既存の手法は通常、未学習の速度と予測精度の保存のトレードオフに直面し、しばしば高い計算オーバーヘッドや保持クラスの性能劣化を引き起こす。 本稿では,直交畳み込みカーネルの正則化を活用し,ミリ秒レベルの応答時間で高速かつ高精度なドレッシングを実現するための,クラス対応型ソフトプルーニングフレームワークを提案する。 学習中の直交性制約を強制することにより、アクティベーション差分解析により、クラス固有のチャネルを効率的に識別しながら、畳み込みフィルタと乱れ特徴表現をデコレーションする。 複数のアーキテクチャやデータセットにわたる広範囲な評価は、ほぼインスタントな実行、ターゲットクラスを完全に忘れること、保持されたデータに対する最小限の精度損失による安定したプルーニングを示す。 CIFAR-10, CIFAR-100, TinyImageNet の実験により,本手法は会員推測攻撃のリスクを大幅に低減し, 最先端のベースラインに比べて桁違いの未学習を加速することを確認した。 このフレームワークは機械学習・アズ・ア・サービス(MLaaS)シナリオにおけるリアルタイム機械学習のための効率的で実用的なソリューションを提供する。

関連論文リスト

• Binary Cumulative Encoding meets Time Series Forecasting [0.11704154007740832]
  単調なバイナリベクトルにスカラーターゲットを表すバイナリ累積符号化(BCE)を導入する。 BCEはオーダとマグニチュード情報を暗黙的に保存し、モデルが分類フレームワーク内で動作しながら、距離対応の表現を学習できるようにする。 提案手法は,より少ないパラメータを必要とせず,より高速な学習が可能でありながら,点予測と確率予測の両方で広く用いられている手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-30T13:41:39Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• First-Passage Approach to Optimizing Perturbations for Improved Training of Machine Learning Models [0.0]
  機械学習プロトコルを第1パスプロセスとみなし、摂動に対する応答を考察する。 摂動学習プロセスが準定常状態に達した場合、単一摂動周波数での応答は広い周波数でその振舞いを予測することができることを示す。
  論文  参考訳（メタデータ） (2025-02-06T14:53:21Z)
• Self-Contrastive Forward-Forward Algorithm [3.1361717406527667]
  フォワードフォワード (FF) アルゴリズムは、レイヤーワイドの目的を最適化するためにフィードフォワード演算に依存する。 FFは、ほとんどの標準ベンチマークタスクで最先端のパフォーマンスに到達できなかった。 本稿では,この性能ギャップを解消するための競争訓練手法である,自己コントラストフォワード(SCFF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-17T22:58:20Z)
• Discriminative Adversarial Unlearning [40.30974185546541]
  我々は、min-max最適化パラダイムの確立した原則に基づいて、新しい機械学習フレームワークを導入する。 我々は、訓練されたモデルから特定のサンプルの学習を容易にするために、強力なメンバーシップ推論攻撃(MIA)の能力を利用する。 提案アルゴリズムは,スクラッチから再学習する理想的なベンチマークを,ランダムサンプルの忘れ方とクラスワイドの忘れ方の両方に近似する。
  論文  参考訳（メタデータ） (2024-02-10T03:04:57Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。