論文の概要: InTAct: Interval-based Task Activation Consolidation for Continual Learning

• arxiv url: http://arxiv.org/abs/2511.17439v1
• Date: Fri, 21 Nov 2025 17:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:19.148357
• Title: InTAct: Interval-based Task Activation Consolidation for Continual Learning
• Title（参考訳）: Intact:連続学習のためのインターバルベースタスクアクティベーション統合
• Authors: Patryk Krukowski, Jan Miksa, Piotr Helm, Jacek Tabor, Paweł Wawrzyński, Przemysław Spurek,
• Abstract要約: Intactは、パラメータを凍結したり過去のデータを保存したりすることなく、共有レイヤで機能的な振舞いを保存する。 そうすることで、Intactはパラメータ値を直接制限するのではなく、重要なニューロンの機能的役割を安定化する。 さまざまなドメイン-インクリメンタルベンチマークを通じて、InTActは表現のドリフトを一貫して削減し、パフォーマンスを向上する。
• 参考スコア（独自算出の注目度）: 8.228364777296195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to enable neural networks to acquire new knowledge without forgetting previously learned information. While recent prompt-based methods perform strongly in class-incremental settings, they remain vulnerable under domain shifts, where the input distribution changes but the label space remains fixed. This exposes a persistent problem known as representation drift. Shared representations evolve in ways that overwrite previously useful features and cause forgetting even when prompts isolate task-specific parameters. To address this issue, we introduce InTAct, a method that preserves functional behavior in shared layers without freezing parameters or storing past data. InTAct captures the characteristic activation ranges associated with previously learned tasks and constrains updates to ensure the network remains consistent within these regions, while still allowing for flexible adaptation elsewhere. In doing so, InTAct stabilizes the functional role of important neurons rather than directly restricting parameter values. The approach is architecture-agnostic and integrates seamlessly into existing prompt-based continual learning frameworks. By regulating representation changes where past knowledge is encoded, InTAct achieves a principled balance between stability and plasticity. Across diverse domain-incremental benchmarks, including DomainNet and ImageNet-R, InTAct consistently reduces representation drift and improves performance, increasing Average Accuracy by up to 8 percentage points over state-of-the-art baselines.
• Abstract（参考訳）: 連続学習は、ニューラルネットワークが以前の学習情報を忘れずに新しい知識を取得できるようにすることを目的としている。 最近のプロンプトベースの手法は、クラスインクリメンタルな設定で強く機能するが、入力分布が変化するがラベル空間は固定されている領域シフトの下では脆弱である。 これは表現ドリフトとして知られる永続的な問題を露呈する。 共有表現は、以前有用な機能を上書きし、タスク固有のパラメータを分離するよう促しても忘れてしまうような方法で進化する。 この問題に対処するために、パラメータを凍結したり過去のデータを保存したりすることなく、共有レイヤの関数的振る舞いを保存できるIntactを導入する。 Intactは、以前に学習したタスクと制約の更新に関連する特性的なアクティベーション範囲をキャプチャして、ネットワークがこれらの領域内で一貫性を維持しながら、他の領域でもフレキシブルな適応を可能にする。 そうすることで、Intactはパラメータ値を直接制限するのではなく、重要なニューロンの機能的役割を安定化する。 アプローチはアーキテクチャに依存しず、既存のプロンプトベースの継続的学習フレームワークにシームレスに統合される。 過去の知識が符号化された表現の変化を規制することにより、InTActは安定性と可塑性の原則的なバランスを達成する。 DomainNetやImageNet-Rなど、さまざまなドメインインクリメンタルベンチマークを通じて、Intactは一貫して表現のドリフトを減らし、パフォーマンスを改善し、最先端のベースラインよりも平均精度を最大8%向上させる。

関連論文リスト

• Learning with Preserving for Continual Multitask Learning [4.847042727427382]
  タスク出力の保存から共有表現空間の維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を紹介した。 LwPは破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-11T22:23:20Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
  本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。 平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
  論文  参考訳（メタデータ） (2025-01-18T19:58:53Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Learning a Low-Rank Feature Representation: Achieving Better Trade-Off between Stability and Plasticity in Continual Learning [20.15493383736196]
  連続学習では、ネットワークは一連のタスクでトレーニングされた場合、安定性と可塑性の間のトレードオフに直面します。 そこで我々は, LRFRと呼ばれる新しいトレーニングアルゴリズムを提案し, 安定性を犠牲にすることなく, 可塑性を増強する。 CIFAR-100とTinyImageNetを連続学習のベンチマークデータセットとして使用することにより、提案手法は一貫して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-12-14T08:34:11Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation [39.97128550414934]
  本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。 以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。 我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
  論文  参考訳（メタデータ） (2022-04-02T16:30:04Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)
• Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
  連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。