論文の概要: NegMerge: Consensual Weight Negation for Strong Machine Unlearning
- arxiv url: http://arxiv.org/abs/2410.05583v1
- Date: Tue, 08 Oct 2024 00:50:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:36:07.999441
- Title: NegMerge: Consensual Weight Negation for Strong Machine Unlearning
- Title(参考訳): NegMerge: 強力な機械学習のための合意的ウェイトネゲーション
- Authors: Hyoseo Kim, Dongyoon Han, Junsuk Choe,
- Abstract要約: 機械学習は、モデルから特定の知識を選択的に除去することを目的としている。
現在の手法は、左折セットの微調整モデルに依存し、タスクベクトルを生成し、元のモデルからそれを減算する。
1つのモデルを選択するのではなく、与えられた細調整されたモデルをすべて活用する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 21.081262106431506
- License:
- Abstract: Machine unlearning aims to selectively remove specific knowledge from a model. Current methods, such as task arithmetic, rely on fine-tuning models on the forget set, generating a task vector, and subtracting it from the original model. However, we argue the effectiveness of this approach is highly sensitive to hyperparameter selection, necessitating careful validation to identify the best model among many fine-tuned candidates. In this paper, we propose a novel method that leverages all given fine-tuned models rather than selecting a single one. By constructing task vectors from models trained with varied hyperparameters and merging only the components of the task vectors with consistent signs, we perform unlearning by negating the merged task vector from the original model. Given that existing methods also utilize multiple fine-tuned models, our approach delivers more effective unlearning without incurring additional computational costs. We demonstrate the effectiveness of our method on both vision-language models and standard image classification models, showing improved unlearning performance with minimal degradation on the retain set, outperforming state-of-the-art techniques.
- Abstract(参考訳): 機械学習は、モデルから特定の知識を選択的に除去することを目的としている。
タスク演算のような現在の手法は、タスクベクトルを生成し、元のモデルからそれを減らし、リクットセットの微調整モデルに依存している。
しかし,本手法の有効性はハイパーパラメータ選択に非常に敏感であり,多くの微調整候補の中から最適なモデルを特定するためには,慎重に検証する必要がある。
本稿では,1つのモデルを選択するのではなく,与えられたすべての微調整モデルを活用する新しい手法を提案する。
様々なハイパーパラメータで訓練されたモデルからタスクベクトルを構築し、一貫した符号でタスクベクトルの構成要素のみをマージすることにより、元のモデルからマージされたタスクベクトルを無効にすることで未学習を行う。
既存の手法は複数の微調整モデルも利用しているため、計算コストを増大させることなく、より効果的な未学習を実現することができる。
本手法が視覚言語モデルと標準画像分類モデルの両方において有効であることを示す。
関連論文リスト
- Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。
本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
論文 参考訳(メタデータ) (2024-05-23T17:17:27Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳(メタデータ) (2024-05-23T05:25:45Z) - Exploring Transferability for Randomized Smoothing [37.60675615521106]
本稿では,頑健なモデルを事前学習する手法を提案する。
クリーンな画像のみを微調整しても、驚くほど強力な認証精度が得られます。
論文 参考訳(メタデータ) (2023-12-14T15:08:27Z) - Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。
提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。
我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
論文 参考訳(メタデータ) (2023-10-07T08:55:54Z) - Dual Student Networks for Data-Free Model Stealing [79.67498803845059]
主な課題は、パラメータにアクセスせずにターゲットモデルの勾配を推定し、多様なトレーニングサンプルを生成することである。
そこで本研究では,2人の学生が左右対称に学習し,学生が反対するサンプルを生成するための基準を提案する。
我々の新しい最適化フレームワークは、目標モデルのより正確な勾配推定と、ベンチマーク分類データセットの精度向上を提供する。
論文 参考訳(メタデータ) (2023-09-18T18:11:31Z) - Optimizing fairness tradeoffs in machine learning with multiobjective
meta-models [0.913755431537592]
複数のコスト関数を持つ重み付き分類問題として、公平な機械学習タスクを定義するフレキシブルなフレームワークを提案する。
我々は、与えられた学習者のモデルトレーニングで使用されるサンプル重量を定義するために多目的最適化を使用し、重みを適応させ、公平性と精度の複数の指標を最適化する。
実世界の一連の問題において、このアプローチは、好ましいエラー/フェアネストレードオフを持つ解集合を見つけることによって、現在の最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2023-04-21T13:42:49Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳(メタデータ) (2023-02-19T14:08:01Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z) - Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
知識蒸留はモデル圧縮の一般的な方法です。
現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。
既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。
本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
論文 参考訳(メタデータ) (2020-12-11T08:56:39Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳(メタデータ) (2020-05-16T19:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。