論文の概要: How Far Are We from True Unlearnability?

• arxiv url: http://arxiv.org/abs/2509.08058v1
• Date: Tue, 09 Sep 2025 18:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.218019
• Title: How Far Are We from True Unlearnability?
• Title（参考訳）: 真の未開地からどのくらい離れているのか?
• Authors: Kai Ye, Liangcai Su, Chenxiong Qian,
• Abstract要約: 学習不可能なサンプル(UE)を生成するために、データのトレーニング可用性を妥協して、いくつかの学習不可能な手法が提案されている。 私たちはどの程度、真に学べない例が得られないのか調査しています。 クリーンモデルおよび有毒モデルにおけるパラメータのSAL分布に基づいて、データの非有毒度を測定するための非有毒距離(UD)を提案する。
• 参考スコア（独自算出の注目度）: 8.176905459241047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality data plays an indispensable role in the era of large models, but the use of unauthorized data for model training greatly damages the interests of data owners. To overcome this threat, several unlearnable methods have been proposed, which generate unlearnable examples (UEs) by compromising the training availability of data. Clearly, due to unknown training purposes and the powerful representation learning capabilities of existing models, these data are expected to be unlearnable for models across multiple tasks, i.e., they will not help improve the model's performance. However, unexpectedly, we find that on the multi-task dataset Taskonomy, UEs still perform well in tasks such as semantic segmentation, failing to exhibit cross-task unlearnability. This phenomenon leads us to question: How far are we from attaining truly unlearnable examples? We attempt to answer this question from the perspective of model optimization. To this end, we observe the difference in the convergence process between clean and poisoned models using a simple model architecture. Subsequently, from the loss landscape we find that only a part of the critical parameter optimization paths show significant differences, implying a close relationship between the loss landscape and unlearnability. Consequently, we employ the loss landscape to explain the underlying reasons for UEs and propose Sharpness-Aware Learnability (SAL) to quantify the unlearnability of parameters based on this explanation. Furthermore, we propose an Unlearnable Distance (UD) to measure the unlearnability of data based on the SAL distribution of parameters in clean and poisoned models. Finally, we conduct benchmark tests on mainstream unlearnable methods using the proposed UD, aiming to promote community awareness of the capability boundaries of existing unlearnable methods.
• Abstract（参考訳）: 大規模モデルの時代には、高品質なデータが欠かせない役割を担っているが、モデルトレーニングに不正なデータを使用することは、データ所有者の興味を著しく損なう。 この脅威を克服するために、データのトレーニング可用性を妥協することにより、非学習不可能な例(UE)を生成する、いくつかの非学習不可能な方法が提案されている。 明らかに、トレーニングの目的が不明であり、既存のモデルの強力な表現学習能力があるため、これらのデータは複数のタスクにまたがるモデルでは学習できないことが期待されている。 しかし、意外なことに、マルチタスクデータセットのTaskonomyでは、UEはセマンティックセグメンテーションのようなタスクでもうまく機能し、クロスタスクの非学習性を示すことができない。 この現象が疑問を呈する: 真に学べない例を達成するには、どこまでかかるのか? 我々はモデル最適化の観点からこの問いに答えようと試みる。 この目的のために, 簡易なモデルアーキテクチャを用いてクリーンモデルと有毒モデルとの収束過程の差を観察する。 その後、損失景観から、臨界パラメータ最適化経路の一部のみが大きな違いを示し、損失景観と非学習性との間に密接な関係があることが判明した。 その結果,損失ランドスケープを用いてUEの基本的な理由を説明し,この説明に基づいてパラメータの未学習性を定量化するシャープネス・アウェア・ラーナビリティ(SAL)を提案する。 さらに、クリーンモデルおよび有毒モデルにおけるパラメータのSAL分布に基づいて、データの非有毒性を測定するための非有毒距離(UD)を提案する。 最後に,提案するUDを用いて,主要な学習不可能な手法のベンチマークテストを行い,既存の学習不可能な手法の能力境界に対するコミュニティの認識を促進することを目的とした。

関連論文リスト

• How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks? [1.573034584191491]
  モデルパラメータ化レベルがディープニューラルネットワーク(DNN)の学習に与える影響を示す。 近年の文献からいくつかの未学習手法の検証に基づくチューニングを定義する。
  論文  参考訳（メタデータ） (2025-03-11T17:21:26Z)
• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。