論文の概要: Gradient Concentration, Not Weight Saliency, Explains Representation-Level Class Unlearning
- arxiv url: http://arxiv.org/abs/2607.21353v1
- Date: Thu, 23 Jul 2026 14:17:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.431174
- Title: Gradient Concentration, Not Weight Saliency, Explains Representation-Level Class Unlearning
- Title（参考訳）: 勾配濃度, 重みではなく, 表現レベル非学習の解説
- Abstract要約: 本研究では,SalUnのサリエンシマスキング機構を初めて制御したアブレーションを行う。
表現レベルの左折は、塩分選択重みの特定の同一性ではなく、勾配濃度と表現幾何学によって制御されている。
- 参考スコア（独自算出の注目度）: 3.33554314544636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning aims to remove the influence of specific training data while preserving model utility. Many state-of-the-art approaches pursue this goal by restricting the forgetting update to a subset of parameters selected through gradient-based saliency. Although such methods are widely adopted, the actual contribution of saliency-based weight selection to representation-level forgetting remains unclear. In this work, we perform the first controlled ablation of the saliency masking mechanism used by SalUn. Using a matched-compute experimental design on CIFAR-10 and CIFAR-100 with ResNet-18, we compare saliency-based masking against random masks of equal sparsity and unconstrained updates, while keeping the unlearning objective, optimization schedule, and computational budget fixed. Across multiple representation-level evaluations, including linear probing, prototype recovery, and layer-wise CKA, the three configurations exhibit statistically equivalent representation-level recoverability. We find that forget gradients are strongly concentrated in the final network layers (approximately 92% of the squared gradient energy on CIFAR-10) before any mask is applied, causing all masking strategies to operate within the same representational subspace. Furthermore, saliency masks show limited class specificity (specificity index 0.09-0.11), selecting highly overlapping parameter subsets across different forget classes. Our findings suggest that, in the studied setting, representation-level forgetting is primarily governed by gradient concentration and representation geometry rather than by the specific identity of saliency-selected weights. More broadly, the results support a growing body of evidence indicating that effective representation-level unlearning requires objectives that act directly on latent representations rather than on increasingly sophisticated weight-selection strategies.
- Abstract（参考訳）: 機械学習は、モデルユーティリティを保持しながら、特定のトレーニングデータの影響を取り除くことを目的としている。
多くの最先端のアプローチはこの目標を追求し、勾配に基づくサリエンシによって選択されたパラメータのサブセットを忘れることを制限する。
このような方法が広く採用されているが、表象レベルの忘れ物に対する唾液度に基づく体重選択の実際の寄与は、まだ不明である。
本研究では,SalUnのサリエンシマスキング機構を初めて制御したアブレーションを行う。
CIFAR-10 と CIFAR-100 と ResNet-18 との整合型実験設計を用いて,未学習目標,最適化スケジュール,計算予算の固定を保ちながら,等間隔のランダムマスクと非制約更新のランダムマスクとの比較を行った。
線形プローブ、プロトタイプリカバリ、レイヤーワイドCKAを含む複数の表現レベル評価において、3つの構成は統計的に等価な表現レベルリカバリ性を示す。
マスクが適用される前に、最後のネットワーク層(CIFAR-10の2乗勾配エネルギーの約92%)に忘れ勾配が強く集中していることが分かり、すべてのマスク戦略が同じ表現部分空間内で動作することとなる。
さらに、サリエンシマスクはクラス特異性(特異度指数 0.09-0.11)が限定され、異なるクラス間で高い重なり合うパラメータサブセットを選択する。
以上の結果から, 表象レベルの左折は, 比重の比重ではなく, 勾配濃度と表象形状に支配されていることが示唆された。
より広範に、この結果は、効果的な表現レベルの未学習には、より洗練されたウェイト選択戦略ではなく、遅延表現に直接作用する目的が必要であることを示す証拠の集まりを支持する。
関連論文リスト
- One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs [18.48496973561215]
LVLM(Large Vision-Language Models)は様々なマルチモーダルタスクにまたがって大きな成功を収めているが、その実際の展開は長い視覚トークンから生じる計算負担によって制約されている。
本稿では,従来の静的トークンプルーニングパラダイムから切り離された新しいフレームワークであるAdaptive Layer-wise Visual Token Selection (ALVTS)を提案する。
89%のトークン圧縮比で、ALVTSはオリジナルのモデルの96.7%の精度を維持しており、LVLM推論の効率と精度のトレードオフが優れている。
論文 参考訳（メタデータ） (2026-06-12T08:58:58Z) - Self-Distillation of Hidden Layers for Self-Supervised Representation Learning [18.042078225633045]
本稿では,教師ネットワークの隠れレイヤから潜在表現を予測することによって,モデルのタスクによって分割をブリッジする手法であるBootlegを紹介する。
BootlegはImageNet-1KとiNaturalist-21の分類とADE20KとCityscapesのセマンティックセグメンテーションにおいて、同等のベースラインを著しく上回ります。
論文 参考訳（メタデータ） (2026-03-16T17:13:27Z) - POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse [12.913395960667161]
コンピュータビジョンでは、マシン・アンラーニングは、特定の視覚概念や訓練イメージの影響を、スクラッチからリトレーニングすることなく除去することを目的としている。
我々は,非学習の概念を表現レベルまで拡張し,有効性を忘れること,保持の忠実さ,クラス分離を3年間に分けて表現する。
CIFAR-10/100とPathMNISTの実験では、POURは保持された知識を維持しながら効果的なアンラーニングを達成し、分類レベルと表現レベルの両方で最先端のアンラーニング手法より優れていた。
論文 参考訳（メタデータ） (2025-11-24T17:38:53Z) - Seeing What Matters: Empowering CLIP with Patch Generation-to-Selection [54.21851618853518]
本稿では,CLIPのトレーニング効率を高めるために,パッチ生成と選択という簡潔で効果的なアプローチを提案する。
私たちのアプローチであるCLIP-PGSは、ゼロショット分類と検索タスクにおいて、新しい最先端結果を設定する。
論文 参考訳（メタデータ） (2025-03-21T12:10:38Z) - SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。
離散選択問題を連続的な部分集合最適化フレームワークに変換する。
両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
論文 参考訳（メタデータ） (2025-02-14T12:35:21Z) - Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。
最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。
本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-10-09T15:02:28Z) - Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。
本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
論文 参考訳（メタデータ） (2024-09-26T13:38:33Z) - Class Gradient Projection For Continual Learning [99.105266615448]
破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。
タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
論文 参考訳（メタデータ） (2023-11-25T02:45:56Z) - TSG: Target-Selective Gradient Backprop for Probing CNN Visual Saliency [72.9106103283475]
我々は、畳み込みニューラルネットワークを解釈するために視覚的サリエンシ、すなわち視覚的説明について研究する。
これらの観測に触発されて、我々はTSG(Target-Selective Gradient)バックプロップと呼ばれる新しいビジュアル・サリエンシ・フレームワークを提案する。
提案したTSGはTSG-ConvとTSG-FCの2つのコンポーネントから構成され、それぞれ畳み込み層と完全連結層の勾配を補正する。
論文 参考訳（メタデータ） (2021-10-11T12:00:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。