論文の概要: Why Do Unlearnable Examples Work: A Novel Perspective of Mutual Information

• arxiv url: http://arxiv.org/abs/2603.03725v1
• Date: Wed, 04 Mar 2026 04:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.182757
• Title: Why Do Unlearnable Examples Work: A Novel Perspective of Mutual Information
• Title（参考訳）: 学習不可能な事例が機能する理由: 相互情報の新たな視点
• Authors: Yifan Zhu, Yibo Miao, Yinpeng Dong, Xiao-Shan Gao,
• Abstract要約: クリーンな特徴と有毒な特徴との相互関係は,有効に学習できない例で常に減少することを示す。 我々は、MI-UE(Multual Information Unlearnable Examples)と呼ばれる新しい学習不可能な手法を提案する。 本手法は, 防御機構下においても, 従来手法よりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 55.75102049412629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The volume of freely scraped data on the Internet has driven the tremendous success of deep learning. Along with this comes the growing concern about data privacy and security. Numerous methods for generating unlearnable examples have been proposed to prevent data from being illicitly learned by unauthorized deep models by impeding generalization. However, the existing approaches primarily rely on empirical heuristics, making it challenging to enhance unlearnable examples with solid explanations. In this paper, we analyze and improve unlearnable examples from a novel perspective: mutual information reduction. We demonstrate that effective unlearnable examples always decrease mutual information between clean features and poisoned features, and when the network gets deeper, the unlearnability goes better together with lower mutual information. Further, we prove from a covariance reduction perspective that minimizing the conditional covariance of intra-class poisoned features reduces the mutual information between distributions. Based on the theoretical results, we propose a novel unlearnable method called Mutual Information Unlearnable Examples (MI-UE) that reduces covariance by maximizing the cosine similarity among intra-class features, thus impeding the generalization effectively. Extensive experiments demonstrate that our approach significantly outperforms the previous methods, even under defense mechanisms.
• Abstract（参考訳）: インターネット上で自由に取り除かれたデータの量は、ディープラーニングの巨大な成功に繋がった。 これに加えて、データのプライバシとセキュリティに関する懸念が高まっている。 一般化を阻害して、不許可な深層モデルによって不正に学習されるのを防ぐために、学習不可能なサンプルを生成する多くの方法が提案されている。 しかし、既存のアプローチは主に経験的ヒューリスティックスに依存しており、堅固な説明で学習不可能な例を強化することは困難である。 本稿では,新たな視点から学習不可能な事例を分析し,改善する。 我々は、効果的に学習不可能な例は、クリーンな特徴と有毒な特徴の相互情報を常に減少させ、ネットワークが深くなると、学習不可能な例は、より少ない相互情報と共により良くなることを示した。 さらに, クラス内有毒な特徴の条件共分散を最小限に抑えることで, 分布間の相互情報を低減できることを示す。 理論的な結果に基づき,Multual Information Unlearnable Examples (MI-UE) と呼ばれる,クラス内特徴間のコサイン類似性を最大化することにより共分散を低減する手法を提案する。 大規模実験により, 防御機構下においても, 従来手法よりも有意に優れていたことが確認された。

関連論文リスト

• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• Mixture Data for Training Cannot Ensure Out-of-distribution Generalization [21.801115344132114]
  トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。 本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
  論文  参考訳（メタデータ） (2023-12-25T11:00:38Z)
• Detection and Defense of Unlearnable Examples [13.381207783432428]
  本研究では,特定の有毒データセットの線形分離性に関する理論的結果と簡易なネットワークベース検出手法を提案する。 本稿では, 単純なネットワークが生成する逆方向の雑音に結合したデータ拡張を用いて検出性を劣化させる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T12:59:20Z)
• Segue: Side-information Guided Generative Unlearnable Examples for Facial Privacy Protection in Real World [64.4289385463226]
  生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。 転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。 JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
  論文  参考訳（メタデータ） (2023-10-24T06:22:37Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。