論文の概要: Attention Retention for Continual Learning with Vision Transformers

• arxiv url: http://arxiv.org/abs/2602.05454v1
• Date: Thu, 05 Feb 2026 08:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.85183
• Title: Attention Retention for Continual Learning with Vision Transformers
• Title（参考訳）: 視覚変換器を用いた連続学習における注意保持
• Authors: Yue Lu, Xiangyu Zhou, Shizhou Zhang, Yinghui Xing, Guoqiang Liang, Wencong Zhang,
• Abstract要約: 継続学習(CL)は、非定常データストリームから知識を取得するためにAIシステムに権限を与える。 我々は、視覚変換器における注意の漂流を破滅的な忘れ物の主な原因とみなす。 CLにおける忘れを軽減するための新しい注意保持フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.71599936772596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) empowers AI systems to progressively acquire knowledge from non-stationary data streams. However, catastrophic forgetting remains a critical challenge. In this work, we identify attention drift in Vision Transformers as a primary source of catastrophic forgetting, where the attention to previously learned visual concepts shifts significantly after learning new tasks. Inspired by neuroscientific insights into the selective attention in the human visual system, we propose a novel attention-retaining framework to mitigate forgetting in CL. Our method constrains attention drift by explicitly modifying gradients during backpropagation through a two-step process: 1) extracting attention maps of the previous task using a layer-wise rollout mechanism and generating instance-adaptive binary masks, and 2) when learning a new task, applying these masks to zero out gradients associated with previous attention regions, thereby preventing disruption of learned visual concepts. For compatibility with modern optimizers, the gradient masking process is further enhanced by scaling parameter updates proportionally to maintain their relative magnitudes. Experiments and visualizations demonstrate the effectiveness of our method in mitigating catastrophic forgetting and preserving visual concepts. It achieves state-of-the-art performance and exhibits robust generalizability across diverse CL scenarios.
• Abstract（参考訳）: 継続学習(CL)は、非定常データストリームから知識を段階的に取得するAIシステムに権限を与える。 しかし、破滅的な忘れ物は依然として重要な課題である。 本研究では,視覚変換器における注意の漂流を破滅的忘れの主原因とみなし,これまで学習してきた視覚概念への注意は,新しいタスクを学習した後に大きく変化する。 人間の視覚系における選択的注意に対する神経科学的な洞察から着想を得て,CLにおける忘れを緩和する新しい注意保持フレームワークを提案する。 提案手法は,2段階のプロセスによるバックプロパゲーション中の勾配を明示的に修正することにより,注意の漂流を抑制する。 1)レイヤワイドロールアウト機構を用いて前タスクの注意マップを抽出し、インスタンス適応二枚目を生成し、 2)新しい課題を学習する際には,これらのマスクを従来の注意領域に関連する勾配をゼロにすることで,学習された視覚概念の破壊を防止する。 現代のオプティマイザとの互換性のために、勾配マスキングプロセスは相対的な大きさを維持するためにパラメータの更新を比例的にスケーリングすることでさらに強化される。 実験と可視化は, 破滅的な忘れ込みを緩和し, 視覚的概念を保存するための手法の有効性を示す。 最先端のパフォーマンスを実現し、さまざまなCLシナリオにまたがる堅牢な一般化性を示す。

関連論文リスト

• Attention Schema-based Attention Control (ASAC): A Cognitive-Inspired Approach for Attention Management in Transformers [6.853513140582486]
  本稿では、アテンションスキーマの概念を人工ニューラルネットワークに統合したASAC(Attention-based Attention Control)を紹介する。 本手法は,アテンションアロケーションを明示的にモデル化することにより,システム効率を向上させることを目的としている。 視覚領域とNLP領域の両方においてASACの有効性を実証し、分類精度を改善し、学習プロセスを高速化する能力を強調した。
  論文  参考訳（メタデータ） (2025-09-19T15:08:30Z)
• Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent [72.1517476116743]
  近年のMLLMは、大規模マルチモーダルデータセットで事前訓練された後に、視覚的理解と推論能力の発達を見せている。 直接微調整や連続学習といった既存のアプローチでは、この問題に明示的に対処することができない。 本稿では,視覚的表現を忘れることの劣化を定量化するために,効果的なランクを活用する新しい視点を提案する。 視覚表現の効果的なランクを維持するために勾配更新を規制するMDGD法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T12:26:34Z)
• Point Cloud Understanding via Attention-Driven Contrastive Learning [64.65145700121442]
  トランスフォーマーベースのモデルは、自己認識機構を活用することにより、先進的なポイントクラウド理解を持つ。 PointACLは、これらの制限に対処するために設計された、注意駆動のコントラスト学習フレームワークである。 本手法では, 注意駆動型動的マスキング手法を用いて, モデルが非集中領域に集中するように誘導する。
  論文  参考訳（メタデータ） (2024-11-22T05:41:00Z)
• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Skip-Attention: Improving Vision Transformers by Paying Less Attention [55.47058516775423]
  視覚計算変換器(ViT)は、すべての層で高価な自己注意操作を使用する。 また,SkipAtを提案する。SkipAtは,先行層から自己注意を再利用して1層以上の注意を近似する手法である。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-01-05T18:59:52Z)
• Continual Attentive Fusion for Incremental Learning in Semantic Segmentation [43.98082955427662]
  勾配に基づくテクニックで訓練された深いアーキテクチャは、破滅的な忘れに苦しむ。 破滅的忘れを緩和するための新しい注意的特徴蒸留手法を導入する。 また, 蒸留損失の背景を考慮に入れた新たな手法を導入し, 偏りの予測を防止した。
  論文  参考訳（メタデータ） (2022-02-01T14:38:53Z)
• Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection [7.324459578044212]
  顔提示攻撃検知(PAD)は多くの注目を集めており、顔認識システムを保護する上で重要な役割を果たしている。 両ストリーム畳み込みニューラルネットワーク(CNN)フレームワークを提案する。 ステップワイドアブレーション研究において提案したPAD法の設計を実証した。
  論文  参考訳（メタデータ） (2021-09-16T13:06:43Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。