論文の概要: POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse
- arxiv url: http://arxiv.org/abs/2511.19339v1
- Date: Mon, 24 Nov 2025 17:38:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.345009
- Title: POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse
- Title（参考訳）: POUR:ニューラルネットワークによる未学習表現の最適解法
- Authors: Anjie Le, Can Peng, Yuyuan Liu, J. Alison Noble,
- Abstract要約: コンピュータビジョンでは、マシン・アンラーニングは、特定の視覚概念や訓練イメージの影響を、スクラッチからリトレーニングすることなく除去することを目的としている。
我々は,非学習の概念を表現レベルまで拡張し,有効性を忘れること,保持の忠実さ,クラス分離を3年間に分けて表現する。
CIFAR-10/100とPathMNISTの実験では、POURは保持された知識を維持しながら効果的なアンラーニングを達成し、分類レベルと表現レベルの両方で最先端のアンラーニング手法より優れていた。
- 参考スコア（独自算出の注目度）: 12.913395960667161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In computer vision, machine unlearning aims to remove the influence of specific visual concepts or training images without retraining from scratch. Studies show that existing approaches often modify the classifier while leaving internal representations intact, resulting in incomplete forgetting. In this work, we extend the notion of unlearning to the representation level, deriving a three-term interplay between forgetting efficacy, retention fidelity, and class separation. Building on Neural Collapse theory, we show that the orthogonal projection of a simplex Equiangular Tight Frame (ETF) remains an ETF in a lower dimensional space, yielding a provably optimal forgetting operator. We further introduce the Representation Unlearning Score (RUS) to quantify representation-level forgetting and retention fidelity. Building on this, we introduce POUR (Provably Optimal Unlearning of Representations), a geometric projection method with closed-form (POUR-P) and a feature-level unlearning variant under a distillation scheme (POUR-D). Experiments on CIFAR-10/100 and PathMNIST demonstrate that POUR achieves effective unlearning while preserving retained knowledge, outperforming state-of-the-art unlearning methods on both classification-level and representation-level metrics.
- Abstract（参考訳）: コンピュータビジョンでは、マシン・アンラーニングは、特定の視覚概念や訓練イメージの影響を、スクラッチからリトレーニングすることなく除去することを目的としている。
研究は、既存のアプローチが内部表現をそのまま残しながら分類器を変更することがしばしばあり、結果として不完全な忘れが生じることを示した。
本研究では,非学習の概念を表現レベルまで拡張し,有効性を忘れること,保持の忠実さ,クラス分離を3年間に分けて表現する。
ニューラル・コラプス理論に基づいて、単純な等角的高強度フレーム(ETF)の直交射影が低次元空間のETFのままであり、証明可能な最適忘れ演算子が得られることを示す。
さらにRepresentation Unlearning Score(RUS)を導入し、表現レベルの忘れと保持の忠実さを定量化する。
そこで我々は,POUR (Provably Optimal Unlearning of Representations), 閉形式 (POUR-P) を持つ幾何学的投影法, 蒸留法 (POUR-D) に基づく特徴レベルの未学習変種 (POUR-D) を紹介する。
CIFAR-10/100とPathMNISTの実験では、POURは保持された知識を維持しながら効果的なアンラーニングを達成し、分類レベルと表現レベルの両方で最先端のアンラーニング手法より優れていた。
関連論文リスト
- Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation [81.40978077888693]
対照的に、CLIP(Contrastive Language- Image Pre-training)は、下流のパフォーマンスにおいて重要なボトルネックとなっている。
近年のソリューションでは、拡散モデルを用いて、CLIP視覚トークンに画像再構成を条件付けることで表現を強化する。
我々は、より包括的な視覚表現を追求するために、コントラスト信号を拡散に基づく再構成に統合する。
論文 参考訳（メタデータ） (2026-03-05T04:45:49Z) - Erase at the Core: Representation Unlearning for Machine Unlearning [11.77697706755224]
Erase at the Core (EC)は、ネットワーク階層全体の忘れを強制するように設計されたフレームワークである。
ECは、深い教師付き学習を通じて、リザーブセット上の対照的なアンラーニングを、保持セットの保存と統合する。
ECはモデルに依存しず、既存の未学習メソッドにプラグインモジュールとして組み込むことができる。
論文 参考訳（メタデータ） (2026-02-05T06:54:44Z) - Rethinking Hebbian Principle: Low-Dimensional Structural Projection for Unsupervised Learning [17.299267108673277]
ヘビアンラーニング(Hebbian learning)は、ニューロンが繰り返し刺激によって接続をどのように適応するかを直感的に記述する生物学的原理である。
本稿では,新しい教師なし学習手法である構造投影ヘビアン表現(SPHeRe)を紹介する。
実験結果から,SPHeReは教師なしシナプス可塑性アプローチにおいてSOTA性能を実現することが示された。
論文 参考訳（メタデータ） (2025-10-16T15:47:29Z) - Causal Disentanglement and Cross-Modal Alignment for Enhanced Few-Shot Learning [11.752632557524969]
Causal CLIP Adapter(CCA)は、CLIPから抽出された視覚的特徴を明示的に分離する新しいフレームワークである。
本手法は, 分散シフトに対する数ショット性能とロバスト性の観点から, 常に最先端の手法より優れる。
論文 参考訳（メタデータ） (2025-08-05T05:30:42Z) - SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning [0.0]
提案した類似性-直交性(SimO)損失を利用したアンカーフリーコントラスト学習(L)手法を提案する。
提案手法は,2つの主目的を同時に最適化するセミメトリック判別損失関数を最小化する。
埋め込み空間におけるSimO損失の影響を可視化する。
論文 参考訳（メタデータ） (2024-10-07T17:41:10Z) - Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。
本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。
実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
論文 参考訳（メタデータ） (2024-06-09T05:57:40Z) - 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic
Segmentation [92.17700318483745]
合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。
IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
論文 参考訳（メタデータ） (2023-11-27T07:57:29Z) - Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。
このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
論文 参考訳（メタデータ） (2022-02-07T11:19:23Z) - Learning Compact Representations of Neural Networks using DiscriminAtive
Masking (DAM) [2.1629276606305057]
ディープラーニングにおける中心的な目標は、ニューラルネットワークのすべての層における機能のコンパクトな表現を学習することである。
離散型マスキング(DAM: DiscriminAtive Masking)と呼ばれる新しい単一ステージ型プルーニング法を提案する。
提案したDAMアプローチは,様々なアプリケーションに対して極めて優れた性能を示している。
論文 参考訳（メタデータ） (2021-10-01T23:31:46Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳（メタデータ） (2021-09-22T10:47:51Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。