論文の概要: Forgetting is Not Erasure: Recovering Latent Knowledge via Transport Keys

• arxiv url: http://arxiv.org/abs/2606.02860v1
• Date: Mon, 01 Jun 2026 20:22:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.588634
• Title: Forgetting is Not Erasure: Recovering Latent Knowledge via Transport Keys
• Title（参考訳）: 忘れられない:トランスポートキーによる潜在知識の回収
• Authors: Archie Chaudhury,
• Abstract要約: 破滅的な忘れ方は、しばしば表象的な問題として扱われる。 その結果, 内部ステージ間の界面のドリフトにより, 明らかな忘れ込みのかなりの部分が生じることが判明した。 その結果、継続学習にはインデックス化と遅延計算の再アクセスのためのより良いメカニズムが必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Catastrophic forgetting is often framed as a representational problem: after sequential training, a model appears to lose the features that supported performance on earlier tasks. We challenge the stronger form of this view. Across controlled continual-learning settings, we find that a significant portion of apparent forgetting can be attributed to interface drift between internal stages rather than permanent erasure of task-relevant computation. We study this phenomenon through a stitched evaluation protocol that combines early computation from a post-update network with late computation from its predecessor, optionally mediated by a compact, task-specific transport key. We describe transport keys at a systems level as compact interface-alignment operators estimated from a small set of paired anchor activations and evaluated through model stitching. On split CIFAR-100 with a ResNet-style network, transport keys recover most of the original Task A performance after sequential training on Task B. On a compact vision transformer, we observe a similar recovery pattern. These results suggest that continual learning may require better mechanisms for indexing and re-accessing latent computations, not only methods that prevent weight change.
• Abstract（参考訳）: 逐次トレーニングの後、モデルは以前のタスクのパフォーマンスをサポートする機能を失うように見える。 私たちはこの見方の強い形に挑戦する。 制御された連続学習設定全体にわたって、明らかな忘れのかなりの部分は、タスク関連計算の恒久的消去ではなく、内部ステージ間のインターフェイスのドリフトに起因することが判明した。 我々は,この現象を,更新後のネットワークからの初期計算と前者の遅延計算を組み合わせ,コンパクトなタスク固有トランスポートキーを任意に介在する縫合評価プロトコルを用いて検討する。 システムレベルでのトランスポートキーを,小さな組のアンカーアクティベーションセットから推定した,コンパクトなインターフェースアライメント演算子として記述し,モデル縫合により評価する。 ResNetスタイルのネットワークで分割したCIFAR-100では、トランスポートキーがタスクBでの逐次トレーニング後に元のタスクAのパフォーマンスを回復する。 これらの結果から、継続学習は、重み変化を防ぐ方法だけでなく、遅延計算のインデックス化と再アクセスのためのより良いメカニズムを必要とする可能性が示唆された。

関連論文リスト

• Task Scarcity and Label Leakage in Relational Transfer Learning [0.0]
  リレーショナル基礎モデルのトレーニングには、タスク間で転送される学習表現が必要ですが、一般的にはデータベース毎の少数の予測ターゲットに限られます。 この問題は、学習した表現が同じスキーマ内でも転送を分解するタスク固有のショートカットをエンコードする原因となる。 本稿では,表現更新からラベル予測方向を除去する勾配予測手法を提案する。 RelBenchでは、これは平均で+0.145 AUROCのデータセット内転送を改善し、多くの場合、シングルタスクに近いパフォーマンスを回復する。
  論文  参考訳（メタデータ） (2026-03-31T15:55:33Z)
• Learning with Preserving for Continual Multitask Learning [4.847042727427382]
  タスク出力の保存から共有表現空間の維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を紹介した。 LwPは破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-11T22:23:20Z)
• Continual Learning for Adaptive AI Systems [0.0]
  クラスタ・アウェア・リプレイ(Cluster-Aware Replay, CAR)は、クラスバランスの小さなリプレイバッファと正規化用語を統合するハイブリッド連続学習フレームワークである。 CARは、微調整単独よりも初期のタスクパフォーマンスを保ちます。
  論文  参考訳（メタデータ） (2025-10-09T00:44:32Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Exemplar-Free Continual Transformer with Convolutions [12.207329575724772]
  本稿では,ConTraCon と呼ばれるクラス/タスクの漸進学習のための,新しい例のないアプローチを提案する。 推論中にタスクIDを明示的に表示する必要はなく、以前のトレーニングインスタンスを保存する必要もない。 4つのベンチマークデータセットの実験では、提案手法がいくつかの競合的アプローチより優れていることが示されている。
  論文  参考訳（メタデータ） (2023-08-22T11:17:51Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• PRSNet: A Masked Self-Supervised Learning Pedestrian Re-Identification Method [2.0411082897313984]
  本論文は, 強靭性を有する事前学習モデルを得るために, マスク再構築の前タスクを設計する。 センタロイドに基づいて三重項損失を改善することにより、ネットワークのトレーニング最適化を行う。 この手法は、既存の自己教師型学習歩行者再識別法よりも、Marker1501およびCUHK03データ上で約5%高いmAPを達成する。
  論文  参考訳（メタデータ） (2023-03-11T07:20:32Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。