論文の概要: Semantic Drift Compensation for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2004.00440v1
• Date: Wed, 1 Apr 2020 13:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 18:08:49.008326
• Title: Semantic Drift Compensation for Class-Incremental Learning
• Title（参考訳）: クラス増分学習のための意味的ドリフト補償
• Authors: Lu Yu, Bart{\l}omiej Twardowski, Xialei Liu, Luis Herranz, Kai Wang, Yongmei Cheng, Shangling Jui, Joost van de Weijer
• Abstract要約: ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 48.749630494026086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-incremental learning of deep networks sequentially increases the number of classes to be classified. During training, the network has only access to data of one task at a time, where each task contains several classes. In this setting, networks suffer from catastrophic forgetting which refers to the drastic drop in performance on previous tasks. The vast majority of methods have studied this scenario for classification networks, where for each new task the classification layer of the network must be augmented with additional weights to make room for the newly added classes. Embedding networks have the advantage that new classes can be naturally included into the network without adding new weights. Therefore, we study incremental learning for embedding networks. In addition, we propose a new method to estimate the drift, called semantic drift, of features and compensate for it without the need of any exemplars. We approximate the drift of previous tasks based on the drift that is experienced by current task data. We perform experiments on fine-grained datasets, CIFAR100 and ImageNet-Subset. We demonstrate that embedding networks suffer significantly less from catastrophic forgetting. We outperform existing methods which do not require exemplars and obtain competitive results compared to methods which store exemplars. Furthermore, we show that our proposed SDC when combined with existing methods to prevent forgetting consistently improves results.
• Abstract（参考訳）: ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 トレーニング中、ネットワークは一度に1つのタスクのデータのみにアクセスでき、各タスクには複数のクラスが含まれている。 この設定では、ネットワークは過去のタスクにおけるパフォーマンスの劇的な低下を意味する壊滅的な忘れに苦しむ。 大部分の方法がこのシナリオを分類ネットワークで研究しており、新しいタスクごとにネットワークの分類層を新たに追加されたクラスに余地を与えるために追加の重み付けを加える必要がある。 埋め込みネットワークは、新しい重みを加えることなく、自然に新しいクラスをネットワークに組み込むことができるという利点がある。 そこで,組込みネットワークにおけるインクリメンタル学習について検討する。 さらに,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。 現在のタスクデータで経験したドリフトに基づいて,前回のタスクのドリフトを近似する。 細粒度データセットCIFAR100とImageNet-Subsetの実験を行った。 我々は,組込みネットワークが壊滅的な忘れに苦しむことを実証する。 我々は,模範を記憶する手法と比較して,模範を必要とせず,競争力のある結果が得られる既存手法より優れている。 さらに,提案するsdcと既存手法を組み合わせることで,結果が一貫して改善されることを防止できることを示す。

関連論文リスト

• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• FDCNet: Feature Drift Compensation Network for Class-Incremental Weakly Supervised Object Localization [10.08410402383604]
  本研究は、クラス増分弱教師付きオブジェクトローカライゼーション(CI-WSOL)の課題に対処する。 ゴールは、画像レベルのアノテーションのみを使用して、新しいクラスのオブジェクトローカライゼーションを漸進的に学習し、以前に学習したクラスをローカライズする能力を維持することである。 まず、クラスインクリメンタル分類器の戦略を破滅的な忘れ方に適用し、CI-WSOLの強力なベースライン法を提案する。 そこで我々は,特徴ドリフトがクラススコアやローカライゼーションマップに与える影響を補償する特徴ドリフト補償ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-17T01:10:45Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
  連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。 本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-20T19:17:12Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• On the Exploration of Incremental Learning for Fine-grained Image Retrieval [45.48333682748607]
  我々は,新たなカテゴリが時間とともに追加される場合に,細粒度画像検索の問題を漸進的に考慮する。 本稿では,検索性能の劣化を抑えるための漸進学習手法を提案する。 提案手法は,新しいクラスにおいて高い性能を保ちながら,元のクラスにおける破滅的な忘れを効果的に軽減する。
  論文  参考訳（メタデータ） (2020-10-15T21:07:44Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。