論文の概要: Attaining Class-level Forgetting in Pretrained Model using Few Samples

• arxiv url: http://arxiv.org/abs/2210.10670v1
• Date: Wed, 19 Oct 2022 15:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 13:34:37.039230
• Title: Attaining Class-level Forgetting in Pretrained Model using Few Samples
• Title（参考訳）: 少数サンプルを用いた事前学習モデルにおけるクラスレベルのフォーミングの実現
• Authors: Pravendra Singh, Pratik Mazumder, Mohammed Asad Karim
• Abstract要約: 将来的には、プライバシーや倫理上の懸念から、いくつかのクラスが制限される可能性がある。 本稿では,モデルが残すクラスに対する予測能力に影響を与えることなく,この問題に対処する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 18.251805180282346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to address real-world problems, deep learning models are jointly trained on many classes. However, in the future, some classes may become restricted due to privacy/ethical concerns, and the restricted class knowledge has to be removed from the models that have been trained on them. The available data may also be limited due to privacy/ethical concerns, and re-training the model will not be possible. We propose a novel approach to address this problem without affecting the model's prediction power for the remaining classes. Our approach identifies the model parameters that are highly relevant to the restricted classes and removes the knowledge regarding the restricted classes from them using the limited available training data. Our approach is significantly faster and performs similar to the model re-trained on the complete data of the remaining classes.
• Abstract（参考訳）: 現実世界の問題に対処するために、ディープラーニングモデルは、多くのクラスで共同でトレーニングされる。 しかし、将来的には、プライバシーや倫理上の懸念から、一部のクラスは制限される可能性があるため、制限されたクラス知識は、それらに基づいてトレーニングされたモデルから取り除かなければならない。 プライバシーや倫理上の懸念から利用可能なデータも制限される可能性があるため、モデルの再トレーニングは不可能だ。 残りのクラスに対するモデルの予測能力に影響を与えずにこの問題に対処するための新しいアプローチを提案する。 本手法では,制限クラスと高度に関連のあるモデルパラメータを特定し,制限クラスに関する知識を制限可能なトレーニングデータから削除する。 私たちのアプローチは大幅に高速で、残りのクラスの完全なデータで再トレーニングされたモデルと似ています。

関連論文リスト

• Fine-Tuning is Fine, if Calibrated [33.42198023647517]
  事前訓練されたモデルの微調整は、以前に学習した他のクラスにおいて、モデルの精度を劇的に低下させることが示されている。 本論文は,「微調整モデルで損傷を受けたものは何か?」という根本的な疑問に答えることを目的として,この問題を体系的に識別する。 微調整されたモデルは、他のクラス間の関係を忘れたり、これらのクラスを認識するために機能を劣化させたりしない。
  論文  参考訳（メタデータ） (2024-09-24T16:35:16Z)
• Class Machine Unlearning for Complex Data via Concepts Inference and Data Poisoning [15.364125432212711]
  現在のAI時代では、ユーザーはプライバシー上の懸念から、AI企業にトレーニングデータセットからデータを削除するよう要求することができる。 機械学習は、モデルオーナーが要求されたトレーニングデータやクラスを削除することができ、モデルのパフォーマンスにほとんど影響を与えない新しい技術である。 本稿では、画像の特徴やテキストデータのトークンではなく、概念の定義を適用して、未学習クラスの意味情報を表現する。
  論文  参考訳（メタデータ） (2024-05-24T15:59:17Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Few-Shot Lifelong Learning [35.05196800623617]
  Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。 提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。 提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-01T13:26:57Z)
• Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning [82.07273754143547]
  トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。 属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
  論文  参考訳（メタデータ） (2021-02-23T18:36:14Z)
• Sufficiently Accurate Model Learning for Planning [119.80502738709937]
  本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。 これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。 近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
  論文  参考訳（メタデータ） (2021-02-11T16:27:31Z)
• Novelty-Prepared Few-Shot Classification [24.42397780877619]
  本稿では,自己補足型ソフトマックス・ロス(SSL)と呼ばれる新規な補足型損失関数を,数ショットの分類に使用することを提案する。 CUB-200-2011とmini-ImageNetデータセットの実験では、SSLが最先端の性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2020-03-01T14:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。