論文の概要: Language Guided Concept Bottleneck Models for Interpretable Continual Learning

• arxiv url: http://arxiv.org/abs/2503.23283v1
• Date: Sun, 30 Mar 2025 02:41:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.034921
• Title: Language Guided Concept Bottleneck Models for Interpretable Continual Learning
• Title（参考訳）: 逐次学習のための言語指導型概念ボトルネックモデル
• Authors: Lu Yu, Haoyu Han, Zhe Tao, Hantao Yao, Changsheng Xu,
• Abstract要約: 継続的な学習は、学習した情報を忘れることなく、学習システムが新しい知識を常に獲得することを目的としている。 既存のCLメソッドのほとんどは、モデルパフォーマンスを改善するための学習知識の保存に重点を置いている。 両課題に対処するために,言語指導型概念ボトルネックモデルを統合する新しいフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 62.09201360376577
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual learning (CL) aims to enable learning systems to acquire new knowledge constantly without forgetting previously learned information. CL faces the challenge of mitigating catastrophic forgetting while maintaining interpretability across tasks. Most existing CL methods focus primarily on preserving learned knowledge to improve model performance. However, as new information is introduced, the interpretability of the learning process becomes crucial for understanding the evolving decision-making process, yet it is rarely explored. In this paper, we introduce a novel framework that integrates language-guided Concept Bottleneck Models (CBMs) to address both challenges. Our approach leverages the Concept Bottleneck Layer, aligning semantic consistency with CLIP models to learn human-understandable concepts that can generalize across tasks. By focusing on interpretable concepts, our method not only enhances the models ability to retain knowledge over time but also provides transparent decision-making insights. We demonstrate the effectiveness of our approach by achieving superior performance on several datasets, outperforming state-of-the-art methods with an improvement of up to 3.06% in final average accuracy on ImageNet-subset. Additionally, we offer concept visualizations for model predictions, further advancing the understanding of interpretable continual learning.
• Abstract（参考訳）: CL(Continuous Learning)は、学習システムが学習前の情報を忘れることなく、新しい知識を常に獲得することを目的としている。 CLは、タスク間の解釈可能性を維持しながら、破滅的な忘れを緩和する課題に直面している。 既存のCLメソッドのほとんどは、モデルパフォーマンスを改善するための学習知識の保存に重点を置いている。 しかし、新たな情報が導入されるにつれて、学習プロセスの解釈可能性は、進化する意思決定プロセスを理解する上で重要になるが、研究されることは滅多にない。 本稿では,言語指導型概念ボトルネックモデル(CBM)を統合し,両課題に対処する新しいフレームワークを提案する。 私たちのアプローチでは、Concept Bottleneck Layerを活用して、CLIPモデルとセマンティック一貫性を整合させ、タスク全体にわたって一般化可能な人間理解可能な概念を学習します。 解釈可能な概念に焦点をあてることで、我々の手法は、時間とともに知識を保持するモデル能力を高めるだけでなく、透明な意思決定の洞察も提供する。 ImageNet-subsetの最終的な平均精度を最大3.06%向上させ、最先端の手法よりも優れた性能を達成し、提案手法の有効性を実証する。 さらに、モデル予測のための概念視覚化を提供し、解釈可能な連続学習の理解をさらに進める。

関連論文リスト

• Retaining and Enhancing Pre-trained Knowledge in Vision-Language Models with Prompt Ensembling [5.6987175375687995]
  グループワイド・プロンプト・アンサンブル(GPE)と呼ばれる新しいプロンプト・アンサンブル学習手法を提案する。 提案手法は,データ分散シフトに対するロバスト性を改善しつつ,新たなドメイン知識を取り入れたCLIPのゼロショット機能の向上を目的としている。 当社のアプローチは,ゼロショット能力を保護しながら,CLIPの適応性を最適化するため,マスク付き注意によるグループ化の促進,モデルの表現を損なうことなく,新たなドメインインサイトをシームレスに統合するための補助的なプロンプトの導入,オリジナルと新しい知識を効果的にマージするアンサンブル学習戦略の3つの戦略に基づいている。
  論文  参考訳（メタデータ） (2024-12-10T00:40:31Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• A Survey to Recent Progress Towards Understanding In-Context Learning [37.933016939520684]
  In-Context Learning (ICL) は、プロンプトで提供されるいくつかの例から学ぶことができる大規模言語モデル(LLM)を強化する。 実証的な成功にもかかわらず、ICLの根底にあるメカニズムはいまだ不明である。
  論文  参考訳（メタデータ） (2024-02-03T17:13:03Z)
• ICICLE: Interpretable Class Incremental Continual Learning [35.105786309067895]
  Interpretable Class-InCremental LEarning (ICICLE) は、模範的な部分ベースのアプローチを採用する、典型的なフリーアプローチである。 実験の結果,ICICLEは解釈可能性の概念のドリフトを減らし,従来のクラス増分学習手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-14T11:31:45Z)
• DER: Dynamically Expandable Representation for Class Incremental Learning [30.573653645134524]
  適応型視覚知能の実現に向けた中核的なステップであるクラスインクリメンタル学習の課題に対処する。 より効果的なインクリメンタルな概念モデリングに動的に拡張可能な表現を利用する新しい2段階学習手法を提案する。 我々は,3種類のインクリメンタル学習ベンチマークを広範囲に実験し,その手法が他の手法よりも高いマージンを示した。
  論文  参考訳（メタデータ） (2021-03-31T03:16:44Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• A Competence-aware Curriculum for Visual Concepts Learning via Question Answering [95.35905804211698]
  本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。 視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。 CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2020-07-03T05:08:09Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。