論文の概要: Decoupled Distillation to Erase: A General Unlearning Method for Any Class-centric Tasks

• arxiv url: http://arxiv.org/abs/2503.23751v1
• Date: Mon, 31 Mar 2025 06:02:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:35:18.484337
• Title: Decoupled Distillation to Erase: A General Unlearning Method for Any Class-centric Tasks
• Title（参考訳）: 脱カップリング蒸留をエロースに: 授業中心のタスクに対する一般的な未学習法
• Authors: Yu Zhou, Dian Zheng, Qijie Mo, Renjie Lu, Kun-Yu Lin, Wei-Shi Zheng,
• Abstract要約: 本稿では,クラス中心タスクの学習方法として,Decoupled Distillation to Erase (DELETE)を提案する。 保持ロジットから忘れ物とを分離するためにマスクを適用することにより, 忘れ物と洗練物の両方を同時に最適化する。
• 参考スコア（独自算出の注目度）: 29.6258923141852
• License:
• Abstract: In this work, we present DEcoupLEd Distillation To Erase (DELETE), a general and strong unlearning method for any class-centric tasks. To derive this, we first propose a theoretical framework to analyze the general form of unlearning loss and decompose it into forgetting and retention terms. Through the theoretical framework, we point out that a class of previous methods could be mainly formulated as a loss that implicitly optimizes the forgetting term while lacking supervision for the retention term, disturbing the distribution of pre-trained model and struggling to adequately preserve knowledge of the remaining classes. To address it, we refine the retention term using "dark knowledge" and propose a mask distillation unlearning method. By applying a mask to separate forgetting logits from retention logits, our approach optimizes both the forgetting and refined retention components simultaneously, retaining knowledge of the remaining classes while ensuring thorough forgetting of the target class. Without access to the remaining data or intervention (i.e., used in some works), we achieve state-of-the-art performance across various benchmarks. What's more, DELETE is a general solution that can be applied to various downstream tasks, including face recognition, backdoor defense, and semantic segmentation with great performance.
• Abstract（参考訳）: 本稿では,クラス中心のタスクに対して,汎用的で強力な未学習手法であるDELETE(Decoupled Distillation to Erase)を提案する。 これを導出するために、まず、未学習損失の一般的な形態を分析し、それを忘れ、保持する用語に分解する理論的枠組みを提案する。 理論的な枠組みを通じて,従来の手法のクラスは,保持期間の監督を欠いたまま,記憶期間を暗黙的に最適化し,事前学習したモデルの分布を乱し,残りのクラスの知識を適切に保存するのに苦労する損失として,主に定式化できることを指摘した。 そこで我々は,「ダークナレッジ」を用いて保持期間を洗練し,マスク蒸留アンラーニング法を提案する。 保持ロジットからロジットを分離するためにマスクを適用することで、留置コンポーネントと精巧な保持コンポーネントを同時に最適化し、残りのクラスの知識を維持しながら、対象クラスの徹底的な忘れを確実にする。 残りのデータや介入(例えばいくつかの研究で使用される)にアクセスせずに、様々なベンチマークで最先端のパフォーマンスを達成する。 さらに、DELETEは、顔認識、バックドアディフェンス、セマンティックセグメンテーションなど、さまざまな下流タスクに適用可能な、パフォーマンスの高い一般的なソリューションです。

関連論文リスト

• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Is Retain Set All You Need in Machine Unlearning? Restoring Performance of Unlearned Models with Out-Of-Distribution Images [0.0]
  SCAR(Selective-distillation for Class and Architecture-Agnostic UnleaRning)を紹介する。 SCARは、保持セットを使わずに、モデルのテスト精度を維持しながら、特定の情報を効率的に除去する。 提案手法の有効性を3つの公開データセットで実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-19T14:45:27Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
  Skipperはモデルベースの強化学習フレームワークである。 これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。 環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
  論文  参考訳（メタデータ） (2023-09-30T02:25:18Z)
• Inherit with Distillation and Evolve with Contrast: Exploring Class Incremental Semantic Segmentation Without Exemplar Memory [23.730424035141155]
  本稿では,DADA(Dense Knowledge Distillation on all aspects)とARCL(Asymmetric Region-wise Contrastive Learning)モジュールからなるIDECを提案する。 本稿では,Pascal VOC 2012 ADE20K や ISPRS など,最先端のパフォーマンスによる複数の CISS タスクに対する提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-09-27T05:38:31Z)
• Global Knowledge Calibration for Fast Open-Vocabulary Segmentation [124.74256749281625]
  本稿では,各学習カテゴリの同義語群を生成するテキスト多様化戦略を提案する。 また,CLIPの汎用的な知識を維持するために,テキスト誘導型知識蒸留法を用いている。 提案手法は, 各種データセットに対して頑健な一般化性能を実現する。
  論文  参考訳（メタデータ） (2023-03-16T09:51:41Z)
• Flip Learning: Erase to Segment [65.84901344260277]
  弱い教師付きセグメンテーション(WSS)は、時間と面倒な手作業のアノテーションを減らすのに役立ちます。 ボックスアノテーションのみを必要とするFlip Learningという,斬新で汎用的なWSSフレームワークを提案する。 提案手法は,完全教師付き学習と弱教師付き学習のギャップを狭める大きな可能性を示す。
  論文  参考訳（メタデータ） (2021-08-02T09:56:10Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。