論文の概要: Gradient Correlation Subspace Learning against Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2403.02334v1
• Date: Mon, 4 Mar 2024 18:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 17:26:53.485083
• Title: Gradient Correlation Subspace Learning against Catastrophic Forgetting
• Title（参考訳）: 災害予測に対する勾配相関部分空間学習
• Authors: Tammuz Dubnov, Vishal Thengane
• Abstract要約: 本稿では,漸進的なクラス学習の文脈において,破滅的な忘れを減少させる新しい手法を提案する。 この方法は、前のタスクに最も影響を受けない重みのサブスペースを検出し、新しいタスクのためにトレーニングする重みをそのサブスペースに投影する。
• 参考スコア（独自算出の注目度）: 2.000782513783418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient continual learning techniques have been a topic of significant research over the last few years. A fundamental problem with such learning is severe degradation of performance on previously learned tasks, known also as catastrophic forgetting. This paper introduces a novel method to reduce catastrophic forgetting in the context of incremental class learning called Gradient Correlation Subspace Learning (GCSL). The method detects a subspace of the weights that is least affected by previous tasks and projects the weights to train for the new task into said subspace. The method can be applied to one or more layers of a given network architectures and the size of the subspace used can be altered from layer to layer and task to task. Code will be available at \href{https://github.com/vgthengane/GCSL}{https://github.com/vgthengane/GCSL}
• Abstract（参考訳）: 効率的な連続学習技術はここ数年、重要な研究のトピックとなっている。 このような学習の根本的な問題は、過去の学習されたタスクにおけるパフォーマンスの深刻な低下である。 本稿では,GCSL(Gradient correlation Subspace Learning)と呼ばれる漸進的なクラス学習の文脈において,破滅的忘れを減らす新しい手法を提案する。 この方法は、前のタスクに最も影響を受けない重みのサブスペースを検出し、新しいタスクのためにトレーニングする重みをそのサブスペースに投影する。 この方法は、所定のネットワークアーキテクチャの1つ以上のレイヤに適用することができ、使用するサブスペースのサイズをレイヤからレイヤ、タスクからタスクに変更することができる。 コードは \href{https://github.com/vgthengane/GCSL}{https://github.com/vgthengane/GCSL} で入手できる。

関連論文リスト

• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• FDCNet: Feature Drift Compensation Network for Class-Incremental Weakly Supervised Object Localization [10.08410402383604]
  本研究は、クラス増分弱教師付きオブジェクトローカライゼーション(CI-WSOL)の課題に対処する。 ゴールは、画像レベルのアノテーションのみを使用して、新しいクラスのオブジェクトローカライゼーションを漸進的に学習し、以前に学習したクラスをローカライズする能力を維持することである。 まず、クラスインクリメンタル分類器の戦略を破滅的な忘れ方に適用し、CI-WSOLの強力なベースライン法を提案する。 そこで我々は,特徴ドリフトがクラススコアやローカライゼーションマップに与える影響を補償する特徴ドリフト補償ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-17T01:10:45Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning [15.009986848506486]
  Guillotine Regularization (GR) は、転送学習シナリオにおける一般化性能の向上に使用される汎用的な手法である。 その成功の背後にある根本的な理由を特定し、トレーニング設定やデータ、ダウンストリームタスクによって最適なレイヤが大幅に変化する可能性があることを示す。
  論文  参考訳（メタデータ） (2022-06-27T15:37:54Z)
• Tackling Catastrophic Forgetting and Background Shift in Continual Semantic Segmentation [35.2461834832935]
  セマンティックセグメンテーション(CSS)の継続的な学習は、新しいクラスを逐次追加することによって古いモデルを更新する、新たなトレンドである。 本稿では,長期・短距離空間関係を保存する多スケールプール蒸留方式であるLocal PODを提案する。 また,セグメンテーションに適した新しいリハーサル手法も導入する。
  論文  参考訳（メタデータ） (2021-06-29T11:57:21Z)
• PLOP: Learning without Forgetting for Continual Semantic Segmentation [44.49799311137856]
  セマンティックセグメンテーション(CSS)の継続的な学習は、新しいクラスを逐次追加することによって古いモデルを更新する、新たなトレンドである。 本稿では,長大かつ短大な空間関係を特徴レベルで保存する多スケールプール蒸留方式であるLocal PODを提案する。 また,従来のモデルが予測した背景w.r.t.クラスのエントロピーに基づく擬似ラベリングを設計し,背景シフトに対処し,旧クラスの破滅的忘れを避ける。
  論文  参考訳（メタデータ） (2020-11-23T13:35:03Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。