論文の概要: Subtract the Corruption: Training-Data-Free Corrective Machine Unlearning using Task Arithmetic
- arxiv url: http://arxiv.org/abs/2511.18660v1
- Date: Mon, 24 Nov 2025 00:15:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.955001
- Title: Subtract the Corruption: Training-Data-Free Corrective Machine Unlearning using Task Arithmetic
- Title(参考訳): 故障を補う:タスク算術を用いた訓練データなし矯正機械の学習
- Authors: Mostafa Mozafari, Farooq Ahmad Wani, Maria Sofia Bucarelli, Fabrizio Silvestri,
- Abstract要約: CMU(Corrective Machine Unlearning)は、トレーニング後の汚職の影響を取り除くことを目的としている。
以前のCMUでは、典型的には、特定された破損したトレーニングサンプルへのアクセスを前提としています(" forget set'')。
我々は、元のトレーニングデータが利用不可能なEmphsource-free CMUを定式化し、その結果、特定された不正なトレーニングサンプルの忘れ物セットを特定できない。
- 参考スコア(独自算出の注目度): 11.419872258847716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Corrupted training data are ubiquitous. Corrective Machine Unlearning (CMU) seeks to remove the influence of such corruption post-training. Prior CMU typically assumes access to identified corrupted training samples (a ``forget set''). However, in many real-world scenarios the training data are no longer accessible. We formalize \emph{source-free} CMU, where the original training data are unavailable and, consequently, no forget set of identified corrupted training samples can be specified. Instead, we assume a small proxy (surrogate) set of corrupted samples that reflect the suspected corruption type without needing to be the original training samples. In this stricter setting, methods relying on forget set are ineffective or narrow in scope. We introduce \textit{Corrective Unlearning in Task Space} (CUTS), a lightweight weight space correction method guided by the proxy set using task arithmetic principles. CUTS treats the clean and the corruption signal as distinct tasks. Specifically, we briefly fine-tune the corrupted model on the proxy to amplify the corruption mechanism in the weight space, compute the difference between the corrupted and fine-tuned weights as a proxy task vector, and subtract a calibrated multiple of this vector to cancel the corruption. Without access to clean data or a forget set, CUTS recovers a large fraction of the lost utility under label noise and, for backdoor triggers, nearly eliminates the attack with minimal damage to utility, outperforming state-of-the-art specialized CMU methods in source-free setting.
- Abstract(参考訳): 故障したトレーニングデータはユビキタスです。
CMU(Corrective Machine Unlearning)は、トレーニング後の汚職の影響を取り除くことを目的としている。
以前のCMUでは、典型的には、特定された破損したトレーニングサンプル( ` `forget set'' )へのアクセスを前提としていた。
しかし、多くの実世界のシナリオでは、トレーニングデータはもはやアクセスできない。
元のトレーニングデータは利用できないため、特定したトレーニングサンプルの忘れ物セットが特定できないような、emph{source-free} CMUを定式化する。
代わりに、元のトレーニングサンプルである必要なしに、疑わしい汚職タイプを反映した小さなプロキシ(代理)セットを仮定する。
この厳密な設定では、例外セットに依存するメソッドはスコープにおいて非効率または狭くなる。
本稿では,代数学の原理を用いて,代用集合によって導かれる軽量な重み空間補正法である,タスク空間におけるtextit{Corrective Unlearning in Task Space} (CUTS)を紹介する。
CUTSはクリーン信号と汚職信号を別のタスクとして扱う。
具体的には、重み空間の汚損機構を増幅するためにプロキシ上の汚損モデルを短時間微調整し、汚損と微調整の重みの差をプロキシタスクベクトルとして計算し、このベクターの校正倍数を減算して破損を解消する。
クリーンなデータや忘れ物セットにアクセスせずに、CUTSはラベルノイズの下で失われたユーティリティの大部分を回復し、バックドアトリガーでは、ユーティリティに最小限のダメージを与えながら攻撃をほぼ排除し、最先端の専門のCMUメソッドよりも、ソースフリーな設定でパフォーマンスを向上する。
関連論文リスト
- Mint: A Simple Test-Time Adaptation of Vision-Language Models against Common Corruptions [44.25678062208464]
劣化がCLIPのイメージ埋め込みにどのように影響するかを考察し,拡散崩壊と呼ばれる一貫した現象を明らかにする。
この崩壊は性能劣化と密接に結びついており,クラス間分散は分類精度と強く相関している。
擬似ラベルに基づくクラス間分散を最大化する簡易なテスト時間適応法Mintを提案する。
論文 参考訳(メタデータ) (2025-10-25T02:55:08Z) - Linear Regression under Missing or Corrupted Coordinates [58.9213131489513]
我々は,コーディネート的な予算の下で,敵によってデータの破損や消去を行う方法について検討する。
不完全なデータ設定では、敵はデータセットを検査し、最大1座標あたりのサンプルの$eta$-fractionのエントリを削除することができる。
破損したデータ設定では、敵は代わりに任意に値を置換し、その汚職位置は学習者にとって未知である。
論文 参考訳(メタデータ) (2025-09-23T17:01:43Z) - Redirection for Erasing Memory (REM): Towards a universal unlearning method for corrupted data [55.31265817705997]
本稿では,視覚分類器における多様な学習課題を特徴付ける概念空間を提案する。
本稿では,非学習時に導入した専用ニューロンに劣化したデータをリダイレクトする手法であるRedirection for Erasing Memory (REM)を提案する。
REMは、設計された領域の外で失敗する以前のSOTAメソッドとは対照的に、タスクの空間にわたって強く機能する。
論文 参考訳(メタデータ) (2025-05-23T10:47:27Z) - Corrupted but Not Broken: Understanding and Mitigating the Negative Impacts of Corrupted Data in Visual Instruction Tuning [92.16191092329765]
マルチモーダル大言語モデル(MLLM)における劣化データの影響について検討する。
劣化したデータはモデル性能を劣化させるが、そのような悪影響は大部分が可逆的である。
破損したデータの影響を緩和する既存の戦略をはるかに上回る汚職・汚職訓練パラダイムを導入する。
論文 参考訳(メタデータ) (2025-02-18T08:28:29Z) - SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness [9.080678336379528]
本稿では,SVDに基づく新しい非学習アルゴリズムであるScaled Activation Projection (SAP)を紹介する。
SAPは、クロスエントロピー損失を用いて信頼されたサンプルの小さなサブセットを特定することでラベルノイズを緩和する。
自然劣化したクロチング1Mで訓練したビジョントランスモデルの2.31%の一般化改善を観察する。
論文 参考訳(メタデータ) (2024-03-13T15:32:08Z) - Ambient Diffusion: Learning Clean Distributions from Corrupted Data [77.34772355241901]
本稿では,高度に破損したサンプルのみを用いて未知の分布を学習できる拡散型フレームワークを提案する。
このアプローチのもうひとつのメリットは、個々のトレーニングサンプルを記憶しにくい生成モデルをトレーニングできることです。
論文 参考訳(メタデータ) (2023-05-30T17:43:33Z) - Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。
textbfClass textbfPrototype-based label textbfCleaner。
論文 参考訳(メタデータ) (2022-12-21T04:56:41Z) - Robust Unlearnable Examples: Protecting Data Against Adversarial
Learning [77.6015932710068]
本稿では,誤り最小化ノイズを付加することにより,ディープラーニングモデルにデータを学習不能にすることを提案する。
本稿では,敵の訓練から保護される頑健な学習不可能な事例を生成するための新しい手法を設計する。
実験により, 強靭な誤り最小化ノイズによる難読性は, 種々のシナリオにおいて, 敵の訓練からデータを効果的に保護できることが示唆された。
論文 参考訳(メタデータ) (2022-03-28T07:13:51Z) - Corruption Robust Active Learning [43.279169081740726]
我々は、未知の逆ラベル汚職下でのバイナリ分類のためのストリーミングに基づくアクティブラーニングに関する理論的研究を行う。
本稿では, 従来のロバストCALフレームワークは, 破損しない場合と同様のラベル複雑性を保証できることを示す。
本稿では, 汚職の有無を仮定することなく, 確実に正しい新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-21T16:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。