論文の概要: An Efficient Replay for Class-Incremental Learning with Pre-trained Models

• arxiv url: http://arxiv.org/abs/2408.08084v1
• Date: Thu, 15 Aug 2024 11:26:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 14:05:59.324002
• Title: An Efficient Replay for Class-Incremental Learning with Pre-trained Models
• Title（参考訳）: 事前学習モデルを用いた授業増分学習のための効率的なリプレイ
• Authors: Weimin Yin, Bin Chen adn Chunzhao Xie, Zhenhao Tan,
• Abstract要約: 授業増分学習では,各クラス中心で案内される重み間の定常状態が破壊され,忘れることと大きく相関する。 忘れを克服する新しい方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In general class-incremental learning, researchers typically use sample sets as a tool to avoid catastrophic forgetting during continuous learning. At the same time, researchers have also noted the differences between class-incremental learning and Oracle training and have attempted to make corrections. In recent years, researchers have begun to develop class-incremental learning algorithms utilizing pre-trained models, achieving significant results. This paper observes that in class-incremental learning, the steady state among the weight guided by each class center is disrupted, which is significantly correlated with catastrophic forgetting. Based on this, we propose a new method to overcoming forgetting . In some cases, by retaining only a single sample unit of each class in memory for replay and applying simple gradient constraints, very good results can be achieved. Experimental results indicate that under the condition of pre-trained models, our method can achieve competitive performance with very low computational cost and by simply using the cross-entropy loss.
• Abstract（参考訳）: 一般的なクラス増分学習では、研究者は通常、連続学習中に破滅的な忘れ物を避けるツールとしてサンプルセットを使用する。 同時に、研究者たちは、クラスインクリメンタルラーニングとOracleのトレーニングの違いも指摘し、修正を試みた。 近年,事前学習モデルを用いたクラスインクリメンタル学習アルゴリズムの開発が始まっており,大きな成果を上げている。 本稿では,クラス中心が案内する重みの定常状態が破壊され,破滅的忘れと大きく相関していることを示す。 そこで本研究では, 忘れを克服する新しい手法を提案する。 いくつかのケースでは、メモリ内の各クラスの1つのサンプルユニットだけをリプレイし、単純な勾配制約を適用することで、非常に良い結果が得られる。 実験結果から, 事前学習モデルでは, 計算コストが極めて低く, クロスエントロピー損失を用いることで, 競争性能を達成できることが示唆された。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Prediction Error-based Classification for Class-Incremental Learning [39.91805363069707]
  予測誤差に基づく分類(PEC)を導入する PECは、そのクラスのデータに基づいて、凍結ランダムニューラルネットワークの出力を複製するために訓練されたモデルの予測誤差を測定して、クラススコアを算出する。 PECは、サンプル効率、チューニングの容易さ、データを一度に1つのクラスに提示しても有効性など、いくつかの実用的な利点を提供している。
  論文  参考訳（メタデータ） (2023-05-30T07:43:35Z)
• CUDA: Curriculum of Data Augmentation for Long-Tailed Recognition [10.441880303257468]
  クラス不均衡問題は現実世界のタスクで頻繁に発生する。 この問題を軽減するために、多くのアプローチがトレーニングサンプルの再重み付けや再サンプリングによって、各クラス間でバランスをとることを目標にしている。 これらの再バランス手法は、マイノリティクラスの影響を増大させ、モデルの出力に対する多数派クラスの影響を減少させる。 多数サンプルの特徴によって少数サンプルの表現を増大させる手法が開発されている。
  論文  参考訳（メタデータ） (2023-02-10T20:30:22Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
  複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。 本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
  論文  参考訳（メタデータ） (2021-12-16T19:00:55Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。