論文の概要: Learning New Concepts, Remembering the Old: A Novel Continual Learning

• arxiv url: http://arxiv.org/abs/2411.17471v1
• Date: Mon, 25 Nov 2024 10:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:43.186533
• Title: Learning New Concepts, Remembering the Old: A Novel Continual Learning
• Title（参考訳）: 新しい概念を学び、古いことを思い出す:新しい継続的な学習
• Authors: Songning Lai, Mingqian Liao, Zhangyi Hu, Jiayu Yang, Wenshuo Chen, Yutao Yue,
• Abstract要約: 概念ボトルネックモデル(CBM)は、アーキテクチャに人間の理解可能な概念を導入することにより、モデルの解釈可能性を高める。 既存のCBMは静的データセットを前提としており、実際のデータストリームへの適応能力を制限している。 我々は,CBMのコンセプト・インクリメンタル・クラス・インクリメンタル・ラーニングタスクを新たに定義し,モデルがそれまでの知識を維持しつつ,時間とともに新しい概念・クラスを蓄積できるようにする。
• 参考スコア（独自算出の注目度）: 7.274612706801614
• License:
• Abstract: Concept Bottleneck Models (CBMs) enhance model interpretability by introducing human-understandable concepts within the architecture. However, existing CBMs assume static datasets, limiting their ability to adapt to real-world, continuously evolving data streams. To address this, we define a novel concept-incremental and class-incremental continual learning task for CBMs, enabling models to accumulate new concepts and classes over time while retaining previously learned knowledge. To achieve this, we propose CONceptual Continual Incremental Learning (CONCIL), a framework that prevents catastrophic forgetting by reformulating concept and decision layer updates as linear regression problems, thus eliminating the need for gradient-based updates. CONCIL requires only recursive matrix operations, making it computationally efficient and suitable for real-time and large-scale data applications. Experimental results demonstrate that CONCIL achieves "absolute knowledge memory" and outperforms traditional CBM methods in concept- and class-incremental settings, establishing a new benchmark for continual learning in CBMs.
• Abstract（参考訳）: 概念ボトルネックモデル(CBM)は、アーキテクチャに人間の理解可能な概念を導入することにより、モデルの解釈可能性を高める。 しかし、既存のCBMは静的データセットを前提としており、実際のデータストリームへの適応能力を制限している。 そこで本研究では,CBMのコンセプト・インクリメンタル・クラス・インクリメンタル・ラーニングタスクを新たに定義し,モデルが学習知識を維持しつつ,時間とともに新たな概念・クラスを蓄積できるようにする。 これを実現するために,概念と決定層更新を線形回帰問題として再構成することにより,破滅的な忘れを防止し,勾配に基づく更新を不要とするConceptual Continual Incremental Learning(CONCIL)を提案する。 CONCILは再帰的行列演算のみを必要とするため、計算効率が良く、リアルタイムおよび大規模データアプリケーションに適している。 実験の結果,ConCILは「絶対的知識記憶」を実現し,CBMにおける継続学習のための新しいベンチマークを確立し,概念的・クラス的設定において従来のCBMメソッドよりも優れていた。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• AdaCBM: An Adaptive Concept Bottleneck Model for Explainable and Accurate Diagnosis [38.16978432272716]
  CLIPやConcept Bottleneck Models(CBM)といったビジョン言語モデルの統合は、ディープニューラルネットワーク(DNN)の決定を説明するための有望なアプローチを提供する。 CLIPは説明可能性とゼロショット分類の両方を提供するが、ジェネリックイメージとテキストデータによる事前トレーニングは、その分類精度と医療画像診断タスクへの適用性を制限する可能性がある。 本稿では, 単純な線形分類システムとして, 幾何学的表現のレンズを通して CBM フレームワークを再検討することによって, 従来と異なるアプローチをとる。
  論文  参考訳（メタデータ） (2024-08-04T11:59:09Z)
• Editable Concept Bottleneck Models [36.38845338945026]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解できない概念層を通じて予測プロセスを解明する能力に対して、多くの注目を集めている。 多くのシナリオでは、プライバシの懸念、データの誤り、急激な概念、概念アノテーションのエラーなど、さまざまな理由で、トレーニングデータや新しい概念をトレーニングされたCBMから削除/挿入する必要があります。 具体的には、ECBMは、概念ラベルレベル、概念レベル、データレベルという3つの異なるレベルのデータ削除をサポートしている。
  論文  参考訳（メタデータ） (2024-05-24T11:55:46Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• ICICLE: Interpretable Class Incremental Continual Learning [35.105786309067895]
  Interpretable Class-InCremental LEarning (ICICLE) は、模範的な部分ベースのアプローチを採用する、典型的なフリーアプローチである。 実験の結果,ICICLEは解釈可能性の概念のドリフトを減らし,従来のクラス増分学習手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-14T11:31:45Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)
• Post-hoc Concept Bottleneck Models [11.358495577593441]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。 CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。 解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-31T00:29:26Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。