論文の概要: Evaluating the Impact of Task Granularity on Catastrophic Forgetting in Continual Learning
- arxiv url: http://arxiv.org/abs/2606.08013v1
- Date: Sat, 06 Jun 2026 07:03:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.662528
- Title: Evaluating the Impact of Task Granularity on Catastrophic Forgetting in Continual Learning
- Title(参考訳): 連続学習におけるタスク粒度がカタストロフィックフォーミングに及ぼす影響の評価
- Authors: Emre Alyamac, Himanshu Janmeda, Shashwat Krishna, Yash Vijay,
- Abstract要約: 破滅的な忘れは、新しい情報を学ぶ際に、以前獲得した知識が突然失われることである。
本研究は,モデルが情報を学習する順序が,その知識の保持にどの程度影響するかを考察する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Catastrophic forgetting, the abrupt loss of previously acquired knowledge upon learning new information, remains the central challenge in Continual Learning. This project investigates whether the order in which a model learns information affects how well it retains knowledge. Specifically, we ask: does learning general categories first (like "animals" vs "vehicles") before learning specific classes (like "dog" vs "cat") reduce forgetting compared to learning all classes at once? We test three approaches on CIFAR-100: (1) Coarse-to-Fine: train on 2 super-classes, then expand to 10 specific sub-classes, (2) Fine-to-Coarse: train on 10 sub-classes, then group into 2 super-classes, and (3) Flat: train on all 10 classes from the start. We use Elastic Weight Consolidation (EWC) to prevent forgetting during transitions. Our hypothesis is that learning general patterns first creates a stable foundation that helps the model retain knowledge when learning more detailed distinctions. We evaluate using standard metrics (accuracy, precision, recall, F1) plus continual learning metrics like backward transfer and forgetting rates. This work could inform how we design learning sequences for real-world systems that need to learn incrementally.
- Abstract(参考訳): 破滅的な忘れは、新しい情報を学ぶ際に獲得した知識が突然失われることであり、継続的な学習における中心的な課題である。
本研究は,モデルが情報を学習する順序が,その知識の保持にどの程度影響するかを考察する。
特定のクラス("dog"と"cat"のような)を学ぶ前に、一般的なカテゴリ("animals"と"vehicles"のような)を学ぶことは、すべてのクラスを一度に学ぶよりも忘れることを減らすか?
CIFAR-100の3つのアプローチを検証した: (1) 粗大化: 2つのスーパークラスの列車、次に10の特定のサブクラスの列車、(2) 細小化: 10のサブクラスの列車、次に2つのスーパークラスに分類し、(3) フラット: 最初から10のクラスすべてに編成する。
EWC(Elastic Weight Consolidation)は,過渡期における忘れの防止を目的としている。
我々の仮説は、一般パターンの学習が、より詳細な区別を学ぶ際に、モデルが知識を保持するのに役立つ安定した基盤を最初に作り出すというものである。
我々は、標準メトリクス(精度、精度、リコール、F1)と、後方転送や忘れる率といった継続的な学習指標を用いて評価する。
この研究は、段階的に学ぶ必要がある現実世界のシステムの学習シーケンスをどのように設計するかを教えてくれるかもしれない。
関連論文リスト
- Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳(メタデータ) (2024-03-24T12:41:58Z) - Class Incremental Learning with Self-Supervised Pre-Training and
Prototype Learning [21.901331484173944]
授業の段階的学習における破滅的忘れの原因を分析した。
固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。
本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
論文 参考訳(メタデータ) (2023-08-04T14:20:42Z) - Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。
CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。
ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。
我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。
提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
論文 参考訳(メタデータ) (2022-11-05T17:19:14Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot
Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。
本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。
提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文 参考訳(メタデータ) (2021-02-08T03:27:05Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳(メタデータ) (2020-08-31T04:11:24Z) - Learning to Segment the Tail [91.38061765836443]
実世界の視覚認識には、大規模な長い尾を持つデータの極端なサンプル不均衡を扱う必要がある。
我々は,LVISタスクの課題に対して,データ全体をバランスの取れた部分に分割し,各部分の征服に漸進的な学習を適用する,"分別/分別"戦略を提案する。
論文 参考訳(メタデータ) (2020-04-02T09:39:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。