論文の概要: Putting a Face to Forgetting: Continual Learning meets Mechanistic Interpretability

• arxiv url: http://arxiv.org/abs/2601.22012v1
• Date: Thu, 29 Jan 2026 17:18:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.038133
• Title: Putting a Face to Forgetting: Continual Learning meets Mechanistic Interpretability
• Title（参考訳）: 予測に顔を置く: 継続的な学習は機械的解釈可能性に合致する
• Authors: Sergi Masip, Gido M. van de Ven, Javier Ferrando, Tinne Tuytelaars,
• Abstract要約: 連続学習における破滅的な忘れは、基礎となるメカニズムを見渡すことで、しばしばパフォーマンスレベルで測定される。 本稿では,個々の特徴の符号化への変換の結果,破滅的忘れを幾何学的に解釈する機構を導入する。 私たちの仕事は、継続的な学習のための新しい、機能中心の語彙を提供します。
• 参考スコア（独自算出の注目度）: 34.34283223487095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting in continual learning is often measured at the performance or last-layer representation level, overlooking the underlying mechanisms. We introduce a mechanistic framework that offers a geometric interpretation of catastrophic forgetting as the result of transformations to the encoding of individual features. These transformations can lead to forgetting by reducing the allocated capacity of features (worse representation) and disrupting their readout by downstream computations. Analysis of a tractable model formalizes this view, allowing us to identify best- and worst-case scenarios. Through experiments on this model, we empirically test our formal analysis and highlight the detrimental effect of depth. Finally, we demonstrate how our framework can be used in the analysis of practical models through the use of Crosscoders. We present a case study of a Vision Transformer trained on sequential CIFAR-10. Our work provides a new, feature-centric vocabulary for continual learning.
• Abstract（参考訳）: 連続学習における破滅的な忘れは、しばしば、基礎となるメカニズムを見越して、パフォーマンスまたは最終層表現レベルで測定される。 本稿では,個々の特徴の符号化への変換の結果,破滅的忘れを幾何学的に解釈する機構を導入する。 これらの変換は、フィーチャーの割り当て容量を減らし(簡潔な表現)、下流の計算によって読み出しを中断することで、忘れてしまう可能性がある。 抽出可能なモデルの解析がこのビューを形式化し、最良のシナリオと最悪のシナリオを特定できます。 このモデルの実験を通して、我々は形式解析を経験的に検証し、深さの有害な影響を強調した。 最後に,クロスコーダを用いた実用モデルの解析において,我々のフレームワークをどのように利用できるかを示す。 逐次CIFAR-10で訓練した視覚変換器のケーススタディを示す。 私たちの仕事は、継続的な学習のための新しい、機能中心の語彙を提供します。

関連論文リスト

• ExPLAIND: Unifying Model, Data, and Training Attribution to Study Model Behavior [39.590138981646696]
  ポストホックの解釈可能性のメソッドは、通常、モデルの振る舞いをそのコンポーネント、データ、または独立した訓練軌跡に関連付ける。 これらの観点をすべて統合した統合フレームワークであるExPLAINDを紹介します。
  論文  参考訳（メタデータ） (2025-05-26T14:53:11Z)
• Shortcut Learning Susceptibility in Vision Classifiers [11.599035626374409]
  ショートカット学習は、機械学習モデルが意味のある特徴をキャプチャする代わりに、データの急激な相関を利用する場所である。 本研究では,クラスラベルと位置と強度の相関関係にあるデータセットに意図的にショートカットを導入する。 異なる学習率で学習をショートカットする可能性を評価する。
  論文  参考訳（メタデータ） (2025-02-13T10:25:52Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent Structure Learning [20.506232306308977]
  潜在構造モデルは、言語データをモデリングするための強力なツールである。 これらのモデルのエンドツーエンドトレーニングの課題の1つは、ヌル勾配を持つargmax演算である。 下流学習目標を引き上げる角度から潜在構造学習を探索する。
  論文  参考訳（メタデータ） (2020-10-05T21:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。