論文の概要: Channel-Level Semantic Perturbations: Unlearnable Examples for Diverse Training Paradigms

• arxiv url: http://arxiv.org/abs/2605.05224v1
• Date: Sat, 18 Apr 2026 11:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.61258
• Title: Channel-Level Semantic Perturbations: Unlearnable Examples for Diverse Training Paradigms
• Title（参考訳）: Channel-Level Semantic Perturbations: 異種訓練パラダイムの未学習例
• Authors: Bo Wang, Jia Ni, Mengnan Zhao, Zhan Qin, Kui Ren,
• Abstract要約: 未知の例(UE)は、非意味的ノイズに過度に適合するモデルを誘導し、セマンティック抽出能力を弱める。 本稿では,意味論的に有効な部分空間に生成過程を限定する階層的偽造戦略であるShallow Semantic Camouflage(SSC)を提案する。
• 参考スコア（独自算出の注目度）: 33.54383411837643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The unauthorized use of personal data in model training has emerged as a growing privacy threat. Unlearnable examples (UEs) address this issue by embedding imperceptible perturbations into benign examples to obstruct feature learning. However, existing studies mainly evaluate UEs under from-scratch training settings, leaving their behavior under the widely adopted pretraining-finetuning (PF) paradigm largely unexplored. In this work, we provide the first systematic investigation of unlearnable examples across diverse training paradigms. Our analysis reveals that loading and freezing pretrained weights significantly weakens the effectiveness of existing UEs methods. We further explain these findings through semantic filtering: while UEs tend to induce models to overfit non-semantic noise, thereby weakening their semantic extraction capabilities, under the PF paradigm, frozen shallow layers preserve data semantics, effectively filtering out distracting information like unlearnable noise. Guided by these insights, we propose a hierarchical deception strategy, Shallow Semantic Camouflage (SSC), that confines the generation process to a semantically valid subspace, aiming to bypass the semantic suppression introduced by pretrained weights. Extensive experiments demonstrate that our method consistently preserves data unlearnability even under challenging training paradigms, such as shallow-layer freezing and semantic-focused pretraining (SF-Pretrain), bridging the critical gap in pretrain-based unlearnable learning.
• Abstract（参考訳）: モデルトレーニングにおける個人データの不正使用は、プライバシーの脅威が増大している。 難解な例(UE)は、特徴学習を妨げるために、知覚不能な摂動を良心的な例に埋め込むことによってこの問題に対処する。 しかし、既存の研究では、主にオフスクラッチトレーニング環境下でのUEを評価し、広く採用されているPF(Pretraining-finetuning)パラダイムの下での行動は、ほとんど探索されていない。 本研究は,多様な学習パラダイムをまたいだ学習不可能な事例を,初めて体系的に調査するものである。 本分析により, 既訓練重量の荷重および凍結が既存のUEs法の有効性を著しく低下させることが明らかとなった。 UEは非セマンティックノイズに過度に適応するモデルを誘導する傾向があるため、PFパラダイムの下では、凍結した浅い層がデータセマンティクスを保存し、非セマンティックノイズのような邪魔な情報を効果的にフィルタリングする。 これらの知見に導かれて、我々は、事前訓練された重みによる意味的抑圧を回避すべく、生成プロセスを意味的に有効な部分空間に限定する階層的偽造戦略であるShallow Semantic Camouflage(SSC)を提案する。 本手法は, 浅層凍結やセマンティック指向事前学習 (SF-Pretraining) など, 困難な訓練パラダイムの下でも, データの非学習性を常に維持し, 事前学習において重要なギャップを埋めることが実証された。

関連論文リスト

• When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining [28.704214093822472]
  Unlearnable Examples (UEs) は、データ保護戦略として機能し、誤解を招くモデルに対して知覚できない摂動を発生させ、基礎となる意味論ではなく素早い相関を学習する。 本稿では,事前学習モデルから学習を開始すると現れるUEの基本的脆弱性を明らかにする。 本稿では,新しい二段階最適化法であるBAIT(Binding Artificial perturbations to Incorrect Targets)を提案する。
  論文  参考訳（メタデータ） (2026-03-05T02:10:40Z)
• Noise as a Probe: Membership Inference Attacks on Diffusion Models Leveraging Initial Noise [51.179816451161635]
  拡散モデルは画像生成において顕著な進歩を遂げているが、そのデプロイの増加はプライバシに関する深刻な懸念を引き起こす。 広範に使われているノイズスケジュールは、画像のセマンティック情報を完全に排除することができない。 本稿では,初期雑音に意味情報を注入し,モデル生成結果を解析してメンバーシップを推定する,シンプルで効果的なメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:29:01Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Fast Adversarial Training against Textual Adversarial Attacks [11.023035222098008]
  本研究では,同義語を意識しないシナリオにおけるモデルロバスト性を改善するために,FAT法を提案する。 FATは、埋め込み空間における敵の例を作成するために、シングルステップとマルチステップの勾配上昇を使用する。 実験により、FATは同義ではないシナリオにおいてBERTモデルのロバスト性を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-23T03:03:57Z)
• Segue: Side-information Guided Generative Unlearnable Examples for Facial Privacy Protection in Real World [64.4289385463226]
  生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。 転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。 JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
  論文  参考訳（メタデータ） (2023-10-24T06:22:37Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Unlearnable Examples Give a False Sense of Data Privacy: Understanding and Relearning [31.2971146235291]
  学習不可能な例は、公開データに知覚不能な摂動を加えることで、学習不可能な例を生成する。 本稿では、学習不可能な例を打破するために特別に設計された自己適応型トレーニングフレームワークであるプログレッシブ・ステージド・トレーニングを提案する。 本手法は,文学におけるすべての最先端手法の難解性を回避している。
  論文  参考訳（メタデータ） (2023-06-03T09:36:16Z)
• PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling [27.602336774468]
  既存のスロットフィリングモデルの多くは、トレーニングデータからエンティティとそれに対応するコンテキストの固有のパターンを記憶する傾向がある。 本稿では,摂動-ロバストスロット充填モデルの訓練のための意味認識構造伝達法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:01:00Z)
• Semantics-Preserving Adversarial Training [12.242659601882147]
  逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。 本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。 実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
  論文  参考訳（メタデータ） (2020-09-23T07:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。