論文の概要: Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning

• arxiv url: http://arxiv.org/abs/2605.16374v1
• Date: Sun, 10 May 2026 20:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.302265
• Title: Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning
• Title（参考訳）: 失うか隠されるか : 継続学習における概念レベルホープ
• Authors: Katarzyna Filus, Kamil Faber, Roberto Corizzo, Christopher Kanan,
• Abstract要約: 本稿では, 忘れを明らかに概念の削除, 回復可能性, 否定可能性に分解するフレームワークを提案する。 概念レベルの情報の多くは、線形性仮定の下で復元できることがよく示される。 以上の結果から,概念レベルの忘れ方の大部分は,表現的アクセシビリティの変化によるものであることが示唆された。
• 参考スコア（独自算出の注目度）: 12.190665911412466
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Continual learning studies how models can adapt to new tasks while retaining previously acquired knowledge. Although a broad spectrum of methods has been proposed to mitigate catastrophic forgetting, the field remains predominantly performance-driven, with limited insight into what forgetting actually corresponds to within the vision model's representation space. Prior work has primarily analyzed forgetting through task-level performance or coarse measures of representational drift, without disentangling output-level accessibility from changes in finer-grained internal structure. To this end, we propose a diagnostic framework that leverages Sparse Autoencoders (SAEs) to define a task-anchored latent feature space, enabling analysis of how task-specific information evolves at a finer granularity, where individual SAE latents are treated as concept proxies for recurring and relatively disentangled visual patterns in the model's internal computations. Within this framework, we decompose forgetting into apparent concept deletion, recoverability, and decodability. We show that a large portion of seemingly lost concept-level information can often be recovered under linearity assumption, with concept decodability degrading as more tasks are introduced. Overall, our findings suggest that a significant part of concept-level forgetting can be attributed to changes in the representational accessibility rather than complete information erasure.
• Abstract（参考訳）: 継続的な学習は、モデルが以前獲得した知識を維持しながら、新しいタスクに適応する方法を研究する。 破滅的な忘れを緩和するための幅広い手法が提案されているが、その分野は主として性能駆動であり、視覚モデルの表現空間内で実際に何を忘れるかについての知見は限られている。 従来の研究は、細粒な内部構造の変化から出力レベルのアクセシビリティを遠ざけることなく、タスクレベルのパフォーマンスや表現のドリフトの粗い測定を通じて、忘れを主に分析してきた。 そこで本研究では,Sparse Autoencoders (SAEs) を用いてタスク適応型潜在特徴空間を定義し,タスク固有情報がより粒度でどのように進化するかを解析する。 このフレームワークでは, 忘れを明らかに概念の削除, 回復可能性, 否定可能性に分解する。 概念レベルの情報の多くは線形性仮定の下で復元可能であることが示され、さらに多くのタスクが導入されるにつれて、概念の分解性は低下する。 以上の結果から,概念レベルの忘れ方の大部分は,完全な情報消去ではなく,表現的アクセシビリティの変化によるものであることが示唆された。

関連論文リスト

• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• Provenance Networks: End-to-End Exemplar-Based Explainability [0.0]
  私たちは、エンドツーエンドのトレーニングデータ駆動型説明可能性を提供するように設計された、新しいニューラルネットワークのクラスである、プロフェランスネットワークを紹介します。 確率ネットワークは、モデルの通常の操作の一部として、各予測を支援トレーニングの例に直接リンクすることを学ぶ。 これは、モデル不透明さ、幻覚、データコントリビュータへのクレジットの割り当てなど、現代のディープラーニングにおける重要な課題に対処する。
  論文  参考訳（メタデータ） (2025-10-03T01:48:38Z)
• Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [13.768090541138571]
  視覚言語モデル(VLM)はオブジェクトの識別と記述に優れるが、しばしば空間的推論では失敗する。 視覚トークンの埋め込みは、テキストトークンよりもはるかに大きな規範を持っている。 視覚トークンとシステムが注目を惹きつけることを明らかにするツール。
  論文  参考訳（メタデータ） (2025-03-21T17:51:14Z)
• Oh-A-DINO: Understanding and Enhancing Attribute-Level Information in Self-Supervised Object-Centric Representations [9.949149600332836]
  自己教師付き視覚モデルとスロットベース表現はエッジ由来の幾何学の同定に優れるが、幾何学的でない表面レベルの手がかりを保存できない。 VAE正則化はコンパクトで不整合なオブジェクト中心の表現を強制し、これらの欠落した属性を復元する。
  論文  参考訳（メタデータ） (2025-03-12T21:57:41Z)
• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• Uncovering Unique Concept Vectors through Latent Space Decomposition [0.0]
  概念に基づく説明は、特徴帰属推定よりも解釈可能な優れたアプローチとして現れてきた。 本稿では,訓練中に深層モデルから学んだ概念を自動的に発見するポストホックな教師なし手法を提案する。 実験の結果、我々の概念の大部分は、人間にとって容易に理解でき、一貫性を示し、目の前の課題に関連があることが判明した。
  論文  参考訳（メタデータ） (2023-07-13T17:21:54Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。