論文の概要: Erase at the Core: Representation Unlearning for Machine Unlearning
- arxiv url: http://arxiv.org/abs/2602.05375v1
- Date: Thu, 05 Feb 2026 06:54:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:08.797544
- Title: Erase at the Core: Representation Unlearning for Machine Unlearning
- Title(参考訳): Erase at the Core: 機械学習のための表現アンラーニング
- Authors: Jaewon Lee, Yongwoo Kim, Donghyun Kim,
- Abstract要約: Erase at the Core (EC)は、ネットワーク階層全体の忘れを強制するように設計されたフレームワークである。
ECは、深い教師付き学習を通じて、リザーブセット上の対照的なアンラーニングを、保持セットの保存と統合する。
ECはモデルに依存しず、既存の未学習メソッドにプラグインモジュールとして組み込むことができる。
- 参考スコア(独自算出の注目度): 11.77697706755224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many approximate machine unlearning methods demonstrate strong logit-level forgetting -- such as near-zero accuracy on the forget set -- yet continue to preserve substantial information within their internal feature representations. We refer to this discrepancy as superficial forgetting. Recent studies indicate that most existing unlearning approaches primarily alter the final classifier, leaving intermediate representations largely unchanged and highly similar to those of the original model. To address this limitation, we introduce the Erase at the Core (EC), a framework designed to enforce forgetting throughout the entire network hierarchy. EC integrates multi-layer contrastive unlearning on the forget set with retain set preservation through deeply supervised learning. Concretely, EC attaches auxiliary modules to intermediate layers and applies both contrastive unlearning and cross-entropy losses at each supervision point, with layer-wise weighted losses. Experimental results show that EC not only achieves effective logit-level forgetting, but also substantially reduces representational similarity to the original model across intermediate layers. Furthermore, EC is model-agnostic and can be incorporated as a plug-in module into existing unlearning methods, improving representation-level forgetting while maintaining performance on the retain set.
- Abstract(参考訳): 多くの近似マシンアンラーニング手法は、強いロジットレベルの左折(例えば、左折セットのほぼゼロの精度など)を示すが、内部の特徴表現内では重要な情報を保持し続けている。
私たちはこの不一致を表面的な忘れ物と呼びます。
最近の研究では、既存の未学習アプローチのほとんどは最終分類器を主に変更しており、中間表現はほとんど変化せず、元のモデルと非常によく似ていることが示されている。
この制限に対処するために、ネットワーク階層全体にわたって忘れを強制するように設計されたフレームワークであるErase at the Core(EC)を紹介します。
ECは、深い教師付き学習を通じて、リザーブセットにマルチレイヤのコントラストアンラーニングを統合する。
具体的には、ECは中間層に補助モジュールをアタッチし、各監督ポイントにおいて対照的な未学習とクロスエントロピーの損失の両方を適用し、レイヤワイドの損失を被る。
実験結果から,ECは効果的なロジットレベルのリフレクションを実現するだけでなく,中間層にまたがる元のモデルとの表現的類似性を著しく低減することがわかった。
さらに、ECはモデルに依存しないため、既存の未学習メソッドにプラグインモジュールとして組み込むことが可能である。
関連論文リスト
- POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse [12.913395960667161]
コンピュータビジョンでは、マシン・アンラーニングは、特定の視覚概念や訓練イメージの影響を、スクラッチからリトレーニングすることなく除去することを目的としている。
我々は,非学習の概念を表現レベルまで拡張し,有効性を忘れること,保持の忠実さ,クラス分離を3年間に分けて表現する。
CIFAR-10/100とPathMNISTの実験では、POURは保持された知識を維持しながら効果的なアンラーニングを達成し、分類レベルと表現レベルの両方で最先端のアンラーニング手法より優れていた。
論文 参考訳(メタデータ) (2025-11-24T17:38:53Z) - Uncertainty-Guided Selective Adaptation Enables Cross-Platform Predictive Fluorescence Microscopy [65.15943255667733]
自動深度選択機能付きサブネットワーク画像翻訳ADDA(SIT-ADDA-Auto)について紹介する。
より深い層を凍結しながら、最も初期の畳み込み層のみを適応させることで、信頼できる転送が得られることを示す。
この結果から,マイクロスコープにおけるラベルなし適応の設計規則とフィールド設定のレシピが提供され,コードが公開されている。
論文 参考訳(メタデータ) (2025-11-15T03:01:05Z) - Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
自己教師付き学習(SSL)における直感的な現象を観察する。
我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。
本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
論文 参考訳(メタデータ) (2025-10-20T08:40:16Z) - Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。
HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。
このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
論文 参考訳(メタデータ) (2025-10-05T09:32:12Z) - Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。
プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。
その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
論文 参考訳(メタデータ) (2023-12-13T13:11:44Z) - AttenScribble: Attentive Similarity Learning for Scribble-Supervised
Medical Image Segmentation [5.8447004333496855]
本稿では,単純かつ効果的なスクリブル教師あり学習フレームワークを提案する。
我々は、任意の完全畳み込みネットワーク(FCN)バックボーンの内部特徴層の上に、接続可能な空間自己アテンションモジュールを作成する。
この注意深い類似性は、セグメンテーション予測と視覚親和性の一貫性を課する新たな正規化損失をもたらす。
論文 参考訳(メタデータ) (2023-12-11T18:42:18Z) - Learning from Mistakes: Self-Regularizing Hierarchical Representations
in Point Cloud Semantic Segmentation [15.353256018248103]
LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。
本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。
我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
論文 参考訳(メタデータ) (2023-01-26T14:52:30Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - Flip Learning: Erase to Segment [65.84901344260277]
弱い教師付きセグメンテーション(WSS)は、時間と面倒な手作業のアノテーションを減らすのに役立ちます。
ボックスアノテーションのみを必要とするFlip Learningという,斬新で汎用的なWSSフレームワークを提案する。
提案手法は,完全教師付き学習と弱教師付き学習のギャップを狭める大きな可能性を示す。
論文 参考訳(メタデータ) (2021-08-02T09:56:10Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳(メタデータ) (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。