論文の概要: Practical Continual Forgetting for Pre-trained Vision Models
- arxiv url: http://arxiv.org/abs/2501.09705v1
- Date: Thu, 16 Jan 2025 17:57:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:11:51.234961
- Title: Practical Continual Forgetting for Pre-trained Vision Models
- Title（参考訳）: 事前学習型視覚モデルのための実践的連続的鍛造法
- Authors: Hongbo Zhao, Fei Zhu, Bolin Ni, Feng Zhu, Gaofeng Meng, Zhaoxiang Zhang,
- Abstract要約: 現実のシナリオでは、選択的な情報は事前訓練されたモデルから継続的に取り除かれることが期待される。
この問題を3つの重要な課題を連続的に忘れ、識別するものとして定義する。
本稿ではまず,各忘れるタスクに対してTransformerブロック内のFFN層を微調整するグループスパースLoRA(GS-LoRA)を提案する。
顔認識,物体検出,画像分類に関する広範な実験を行い,他のクラスへの影響を最小限に抑えながら,特定のクラスを忘れることが実証された。
- 参考スコア（独自算出の注目度）: 61.41125567026638
- License:
- Abstract: For privacy and security concerns, the need to erase unwanted information from pre-trained vision models is becoming evident nowadays. In real-world scenarios, erasure requests originate at any time from both users and model owners, and these requests usually form a sequence. Therefore, under such a setting, selective information is expected to be continuously removed from a pre-trained model while maintaining the rest. We define this problem as continual forgetting and identify three key challenges. (i) For unwanted knowledge, efficient and effective deleting is crucial. (ii) For remaining knowledge, the impact brought by the forgetting procedure should be minimal. (iii) In real-world scenarios, the training samples may be scarce or partially missing during the process of forgetting. To address them, we first propose Group Sparse LoRA (GS-LoRA). Specifically, towards (i), we introduce LoRA modules to fine-tune the FFN layers in Transformer blocks for each forgetting task independently, and towards (ii), a simple group sparse regularization is adopted, enabling automatic selection of specific LoRA groups and zeroing out the others. To further extend GS-LoRA to more practical scenarios, we incorporate prototype information as additional supervision and introduce a more practical approach, GS-LoRA++. For each forgotten class, we move the logits away from its original prototype. For the remaining classes, we pull the logits closer to their respective prototypes. We conduct extensive experiments on face recognition, object detection and image classification and demonstrate that our method manages to forget specific classes with minimal impact on other classes. Codes have been released on https://github.com/bjzhb666/GS-LoRA.
- Abstract（参考訳）: プライバシーとセキュリティの懸念から、事前訓練された視覚モデルから不要な情報を消去する必要があることが近年明らかになっている。
現実のシナリオでは、消去要求はユーザーとモデル所有者の両方からいつでも発生します。
そのため、この設定では、残りを維持しつつ、事前訓練されたモデルから選択情報を連続的に除去することが期待される。
この問題を3つの重要な課題を連続的に忘れ、識別するものとして定義する。
一 望ましくない知識のためには、効率的かつ効果的な削除が不可欠である。
(二)残りの知識については、忘れる手続きによる影響は最小限とする。
三 実世界のシナリオでは、忘れる過程でトレーニングサンプルが不足したり、一部欠落したりすることがある。
そこで我々はまず,GS-LoRA (Group Sparse LoRA) を提案する。
具体的には
i) 個別にタスクを忘れるたびに,Transformerブロック内のFFN層を微調整するLoRAモジュールを導入し,その方向に向かっている。
(ii) 単純群スパース正規化を採用し、特定の LoRA 群の自動選択を可能とし、他の群をゼロにすることができる。
GS-LoRAをさらに実践的なシナリオに拡張するため、プロトタイプ情報を追加の監視として組み込んで、より実践的なアプローチであるGS-LoRA++を導入する。
忘れられたクラスごとに、ロジットを元のプロトタイプから切り離します。
残りのクラスでは、ロジットをそれぞれのプロトタイプに近づけます。
我々は,顔認識,物体検出,画像分類に関する広範な実験を行い,他のクラスへの影響を最小限に抑えながら,特定のクラスを忘れることが実証された。
コードはhttps://github.com/bjzhb666/GS-LoRAで公開されている。
関連論文リスト
- Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。
ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。
また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文 参考訳（メタデータ） (2024-08-07T04:20:28Z) - Continual Forgetting for Pre-trained Vision Models [70.51165239179052]
現実のシナリオでは、選択的な情報は事前訓練されたモデルから継続的に取り除かれることが期待される。
効率的な削除のためのグループスパースロラ(GS-LoRA)を提案する。
我々は,顔認識,物体検出,画像分類に関する広範な実験を行い,GS-LoRAが他のクラスに最小限の影響で,特定のクラスを忘れることが実証された。
論文 参考訳（メタデータ） (2024-03-18T07:33:56Z) - Foundation Policies with Hilbert Representations [54.44869979017766]
ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。
我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。
実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
論文 参考訳（メタデータ） (2024-02-23T19:09:10Z) - PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning [41.984652077669104]
標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。
本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
論文 参考訳（メタデータ） (2024-01-04T06:46:19Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳（メタデータ） (2022-09-05T14:49:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。