論文の概要: Label Smoothing Improves Machine Unlearning

• arxiv url: http://arxiv.org/abs/2406.07698v1
• Date: Tue, 11 Jun 2024 20:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 21:16:01.832613
• Title: Label Smoothing Improves Machine Unlearning
• Title（参考訳）: Label Smoothingが機械学習を改善
• Authors: Zonglin Di, Zhaowei Zhu, Jinghan Jia, Jiancheng Liu, Zafar Takhirov, Bo Jiang, Yuanshun Yao, Sijia Liu, Yang Liu,
• Abstract要約: この研究は、スムーズなラベルを使用するシンプルなプラグアンドプレイマシンアンラーニングアプローチであるUGradSLを導入している。 MU性能の一貫した改善は、余剰計算の限界コストでしかない。
• 参考スコア（独自算出の注目度）: 29.611981055071197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The objective of machine unlearning (MU) is to eliminate previously learned data from a model. However, it is challenging to strike a balance between computation cost and performance when using existing MU techniques. Taking inspiration from the influence of label smoothing on model confidence and differential privacy, we propose a simple gradient-based MU approach that uses an inverse process of label smoothing. This work introduces UGradSL, a simple, plug-and-play MU approach that uses smoothed labels. We provide theoretical analyses demonstrating why properly introducing label smoothing improves MU performance. We conducted extensive experiments on six datasets of various sizes and different modalities, demonstrating the effectiveness and robustness of our proposed method. The consistent improvement in MU performance is only at a marginal cost of additional computations. For instance, UGradSL improves over the gradient ascent MU baseline by 66% unlearning accuracy without sacrificing unlearning efficiency.
• Abstract（参考訳）: マシン・アンラーニング(MU)の目的は、以前に学習したデータをモデルから排除することである。 しかし、既存のMU技術を使用する場合、計算コストと性能のバランスをとることは困難である。 ラベル平滑化がモデル信頼性と差分プライバシーに与える影響から着想を得て,ラベル平滑化の逆プロセスを用いた単純な勾配に基づくMUアプローチを提案する。 この研究は、スムーズなラベルを使用するシンプルなプラグアンドプレイMUアプローチであるUGradSLを導入している。 ラベルのスムース化を適切に導入することでMU性能が向上する理由を理論的に分析する。 提案手法の有効性とロバスト性を実証し,様々なサイズと異なるモードの6つのデータセットについて広範な実験を行った。 MU性能の一貫した改善は、余剰計算の限界コストでしかない。 例えば、UGradSLは、未学習効率を犠牲にすることなく、勾配上昇MUベースラインを66%の未学習精度で改善する。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• MUSO: Achieving Exact Machine Unlearning in Over-Parameterized Regimes [19.664090734076712]
  マシン・アンラーニング(MU)は、訓練されたモデルを特定のデータでトレーニングされたことがないかのように振る舞う。 本研究では,学習と学習のタスクを統一する交互最適化アルゴリズムを提案する。 このアルゴリズムの有効性は、数値実験によって確認され、様々なシナリオにおける未学習における優れた性能を強調している。
  論文  参考訳（メタデータ） (2024-10-11T06:17:17Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• SalUn: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation [30.168665935074166]
  本稿では,機械学習における「重み値」の概念を導入し,モデル説明における入力値値と並列性について述べる。 サリエンシ・アンラーニング(SalUn)と呼ばれる結果の手法は、パフォーマンスのギャップを「正確な」アンラーニングで狭める。 SalUnは、画像分類と生成タスクの両方において、データ、クラス、概念を忘れることの影響を効果的に消すことができる最初の原則MUアプローチである。
  論文  参考訳（メタデータ） (2023-10-19T06:17:17Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Not All Unlabeled Data are Equal: Learning to Weight Data in Semi-supervised Learning [135.89676456312247]
  ラベル付けされていないすべての例に対して、異なるウェイトを使用する方法を示します。 影響関数に基づいたアルゴリズムを用いて重み付けを調整する。 本手法は,半教師付き画像および言語分類タスクにおける最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-02T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。