論文の概要: NOVO: Unlearning-Compliant Vision Transformers

• arxiv url: http://arxiv.org/abs/2507.03281v1
• Date: Fri, 04 Jul 2025 04:12:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.654274
• Title: NOVO: Unlearning-Compliant Vision Transformers
• Title（参考訳）: NOVO:非学習対応の視覚変換器
• Authors: Soumya Roy, Soumya Banerjee, Vinay Verma, Soumik Dasgupta, Deepak Gupta, Piyush Rai,
• Abstract要約: pnameは、要求されたセットを微調整することなく、将来の未学習リクエストに対してアンラーニングを実行することができる。 キーを取り除き、オンザフライで学習し、パフォーマンスの劣化を避けることで、フォーミングを実現する。
• 参考スコア（独自算出の注目度）: 17.810044173023474
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Machine unlearning (MUL) refers to the problem of making a pre-trained model selectively forget some training instances or class(es) while retaining performance on the remaining dataset. Existing MUL research involves fine-tuning using a forget and/or retain set, making it expensive and/or impractical, and often causing performance degradation in the unlearned model. We introduce {\pname}, an unlearning-aware vision transformer-based architecture that can directly perform unlearning for future unlearning requests without any fine-tuning over the requested set. The proposed model is trained by simulating unlearning during the training process itself. It involves randomly separating class(es)/sub-class(es) present in each mini-batch into two disjoint sets: a proxy forget-set and a retain-set, and the model is optimized so that it is unable to predict the forget-set. Forgetting is achieved by withdrawing keys, making unlearning on-the-fly and avoiding performance degradation. The model is trained jointly with learnable keys and original weights, ensuring withholding a key irreversibly erases information, validated by membership inference attack scores. Extensive experiments on various datasets, architectures, and resolutions confirm {\pname}'s superiority over both fine-tuning-free and fine-tuning-based methods.
• Abstract（参考訳）: マシンアンラーニング(MUL)は、トレーニング済みのモデルを、残りのデータセットのパフォーマンスを維持しながら、いくつかのトレーニングインスタンスやクラス(es)を選択的に忘れる問題である。 既存のMUL研究は、忘れ物や保持セットを使った微調整を伴い、高価で非現実的であり、しばしば未学習モデルの性能劣化を引き起こす。 このアーキテクチャは、要求されたセットを微調整することなく、将来の未学習要求に対して直接アンラーニングを実行することができる。 提案モデルは、トレーニングプロセス中、未学習をシミュレートすることで訓練される。 各ミニバッチに存在するクラス(es)/サブクラス(es)を、プロキシのDeak-setとretain-setの2つの非結合集合にランダムに分離し、モデルがNaveth-setを予測できないように最適化される。 キーを取り除き、オンザフライで学習し、パフォーマンスの劣化を避けることで、フォーミングを実現する。 モデルは学習可能なキーとオリジナルウェイトと共同で訓練され、キーが不可逆的に情報を消去することを保証し、メンバーシップ推論攻撃スコアによって検証される。 様々なデータセット、アーキテクチャ、解像度に関する大規模な実験は、微調整なし法と微調整ベース法の両方に比較して、 {\pname} の優位性を確認している。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Towards Scalable Exact Machine Unlearning Using Parameter-Efficient Fine-Tuning [35.681853074122735]
  S3T(Sequence-aware Sharded Sliced Training)を導入した。 S3Tは、モデルの性能への影響を最小限に抑えつつ、正確な未学習システムの削除能力を高めるように設計されている。 我々は、S3Tが幅広い設定におけるベースラインに比べて優れた削除能力と性能を発揮できることを実証した。
  論文  参考訳（メタデータ） (2024-06-24T01:45:13Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。