論文の概要: Lifelong Learning and Selective Forgetting via Contrastive Strategy

• arxiv url: http://arxiv.org/abs/2405.18663v1
• Date: Tue, 28 May 2024 23:57:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 21:23:36.486128
• Title: Lifelong Learning and Selective Forgetting via Contrastive Strategy
• Title（参考訳）: コントラスト戦略による生涯学習と選択フォーミング
• Authors: Lianlei Shan, Wenzhang Zhou, Wei Li, Xingyu Ding,
• Abstract要約: Lifelong Learningは、以前のタスクのキャパシティを維持しながら、新しいタスクに対して優れたパフォーマンスでモデルをトレーニングすることを目的としている。 いくつかの実践シナリオでは、プライバシの問題による望ましくない知識をシステムに忘れる必要がある。 本稿では,LSF(Learning with Selective Forgetting)を用いた学習のためのコントラスト戦略に基づく新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.570798966278471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning aims to train a model with good performance for new tasks while retaining the capacity of previous tasks. However, some practical scenarios require the system to forget undesirable knowledge due to privacy issues, which is called selective forgetting. The joint task of the two is dubbed Learning with Selective Forgetting (LSF). In this paper, we propose a new framework based on contrastive strategy for LSF. Specifically, for the preserved classes (tasks), we make features extracted from different samples within a same class compacted. And for the deleted classes, we make the features from different samples of a same class dispersed and irregular, i.e., the network does not have any regular response to samples from a specific deleted class as if the network has no training at all. Through maintaining or disturbing the feature distribution, the forgetting and memory of different classes can be or independent of each other. Experiments are conducted on four benchmark datasets, and our method acieves new state-of-the-art.
• Abstract（参考訳）: Lifelong Learningは、以前のタスクのキャパシティを維持しながら、新しいタスクに対して優れたパフォーマンスでモデルをトレーニングすることを目的としている。 しかしながら、いくつかの実践シナリオでは、プライバシの問題による望ましくない知識をシステムに忘れる必要がある。 この2つの共同作業はLearning with Selective Forgetting (LSF)と呼ばれる。 本稿では,LSFのコントラスト戦略に基づく新しいフレームワークを提案する。 具体的には、保存されたクラス(タスク)に対して、同じクラス内の異なるサンプルから抽出された特徴をコンパクト化する。 削除されたクラスに対して、同じクラスの異なるサンプルの機能を分散して不規則にする。すなわち、ネットワークは特定の削除されたクラスからのサンプルに対して、まるでネットワークにトレーニングがないかのように、定期的な応答を持っていない。 機能の分散を維持したり邪魔したりすることで、異なるクラスの忘れ物と記憶を互いに独立させたりすることができる。 4つのベンチマークデータセットで実験を行い,本手法は新たな最先端技術を実現する。

関連論文リスト

• I2CANSAY:Inter-Class Analogical Augmentation and Intra-Class Significance Analysis for Non-Exemplar Online Task-Free Continual Learning [42.608860809847236]
  オンラインタスクフリー連続学習(OTFCL)は、継続学習のより困難なバリエーションである。 既存のメソッドは、忘れるのを防ぐために古いサンプルで構成されたメモリバッファに依存している。 我々は,メモリバッファへの依存をなくし,ワンショットサンプルから新しいデータの知識を効率的に学習するI2CANSAYという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-21T08:28:52Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Constructing Sample-to-Class Graph for Few-Shot Class-Incremental Learning [10.111587226277647]
  FSCIL(Few-shot class-incremental Learning)は、いくつかのデータサンプルから新しい概念を継続的に学習するマシンラーニングモデルの構築を目的とする。 本稿では,FSCILのためのS2Cグラフ学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-31T08:38:14Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Class-Incremental Learning via Knowledge Amalgamation [14.513858688486701]
  破滅的な忘れ込みは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。 我々は、知識の融合(CFA)による破滅的な忘れを解消するための代替戦略を提唱した。 CFAは、過去のタスクに特化した複数の異種教師モデルから学生ネットワークを学習し、現在のオフライン手法に適用することができる。
  論文  参考訳（メタデータ） (2022-09-05T19:49:01Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Online Continual Learning Via Candidates Voting [7.704949298975352]
  クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。 提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
  論文  参考訳（メタデータ） (2021-10-17T15:45:32Z)
• Compositional Fine-Grained Low-Shot Learning [58.53111180904687]
  そこで本研究では,ゼロおよび少数ショット学習のための新しい合成生成モデルを構築し,学習サンプルの少ない,あるいは全くない,きめ細かいクラスを認識する。 本稿では, 学習サンプルから属性特徴を抽出し, それらを組み合わせて, 稀で見えないクラスのためのきめ細かい特徴を構築できる特徴合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-21T16:18:24Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)
• Fine-grained Angular Contrastive Learning with Coarse Labels [72.80126601230447]
  教師付きおよび自己監督型コントラスト前訓練を効果的に組み合わせることができる新しい「Angularの正規化」モジュールを紹介します。 この研究は、C2FS分類のこの新しい、挑戦的で、非常に実用的なトピックに関する将来の研究の道を開くのに役立ちます。
  論文  参考訳（メタデータ） (2020-12-07T08:09:02Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。