論文の概要: AdaHAT: Adaptive Hard Attention to the Task in Task-Incremental Learning
- arxiv url: http://arxiv.org/abs/2608.01252v1
- Date: Sun, 02 Aug 2026 14:03:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.131492
- Title: AdaHAT: Adaptive Hard Attention to the Task in Task-Incremental Learning
- Title（参考訳）: AdaHAT:タスクインクリメンタル学習におけるタスクへの適応的ハードアテンション
- Authors: Pengxiang Wang, Hongbo Bo, Jun Hong, Weiru Liu, Kedian Mu,
- Abstract要約: ニューラルネットワークは、新しいタスクでトレーニングされた時に学習した知識を上書きする傾向がある。
本稿では,静的パラメータへの適応的更新を可能にするアダプティブアテンション機構を備えたアダプティブハードアテンション・トゥ・ザ・タスク(AdaHAT)を提案する。
- 参考スコア（独自算出の注目度）: 3.655781945138786
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Catastrophic forgetting is a major problem in task-incremental learning, where neural networks tend to overwrite previously learned knowledge when trained on new tasks. A number of architecture-based approaches have been proposed to address this problem. However, the architecture-based approaches suffer from another problem related to network capacity when the networks learn long task sequences: As a network is trained on an increasing number of new tasks in a long task sequence, a growing proportion of active parameters becomes static to prevent forgetting of previously learned knowledge. In this paper, we propose Adaptive Hard Attention to the Task (AdaHAT) with an adaptive attention mechanism which allows adaptive updates to static parameters by taking into account the information about previous tasks on both the importance of these parameters to previous tasks and the current network capacity. Based on this idea, we develop a new neural network architecture incorporating our proposed AdaHAT mechanism. AdaHAT extends an existing architecture-based approach, Hard Attention to the Task (HAT), to better support task-incremental learning over long task sequences. We conduct experiments on a number of datasets and compare AdaHAT with task-incremental learning baselines including HAT. Our experimental results show that AdaHAT achieves better average performance across tasks than these baselines, especially on long task sequences, demonstrating the benefits from balancing the trade-off between stability and plasticity of a network when learning such sequences of tasks, alleviating the network capacity problem. Our code is available at pengxiang-wang.com/projects/continual-learning-arena.
- Abstract（参考訳）: ニューラルネットワークは、新しいタスクでトレーニングされた時に学習した知識を上書きする傾向がある。
この問題に対処するために、アーキテクチャベースのアプローチがいくつか提案されている。
しかし、アーキテクチャに基づくアプローチは、ネットワークが長いタスクシーケンスを学習するときのネットワーク容量に関する別の問題に悩まされる。
本稿では,タスクに対する適応的ハード・アテンション・トゥ・ザ・タスク(AdaHAT)を適応的アテンション機構で提案する。
このアイデアに基づいて,提案したAdaHAT機構を組み込んだニューラルネットワークアーキテクチャを開発した。
AdaHATは、タスクシーケンスの長いタスクインクリメンタル学習をよりサポートするために、既存のアーキテクチャベースのアプローチであるHAT(Hard Attention to the Task)を拡張している。
いくつかのデータセットで実験を行い、AdaHATとHATを含むタスク増分学習ベースラインを比較した。
実験の結果、AdaHATは、これらのベースライン、特に長いタスクシーケンスよりもタスク間の平均性能を向上し、タスク列を学習する際にネットワークの安定性と可塑性のトレードオフをバランスさせ、ネットワーク容量問題を緩和する利点を実証した。
私たちのコードは pengxiang-wang.com/projects/continual-learning-arena で利用可能です。
関連論文リスト
- Continual Learning for Adaptive AI Systems [0.0]
クラスタ・アウェア・リプレイ(Cluster-Aware Replay, CAR)は、クラスバランスの小さなリプレイバッファと正規化用語を統合するハイブリッド連続学習フレームワークである。
CARは、微調整単独よりも初期のタスクパフォーマンスを保ちます。
論文 参考訳（メタデータ） (2025-10-09T00:44:32Z) - Learning without Isolation: Pathway Protection for Continual Learning [64.3476595369537]
ディープネットワークは、シーケンシャルなタスク学習中に破滅的な忘れをしがちだ。
モデル融合をグラフマッチングとして定式化する新しいCLフレームワークLwIを提案する。
深層ネットワークにおける活性化チャネルの広がりにより、LwIは新しいタスクのために利用可能な経路を適応的に割り当て、経路保護を実現し、破滅的な忘れに対処することができる。
論文 参考訳（メタデータ） (2025-05-24T07:16:55Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文 参考訳（メタデータ） (2023-03-22T16:42:26Z) - Neural Weight Search for Scalable Task Incremental Learning [6.413209417643468]
タスクインクリメンタル学習は,新たなタスクを学習しながら,それまでの学習したタスクのパフォーマンスを維持することを目的として,破滅的な忘れを解消する。
有望なアプローチの1つは、将来のタスクのために個々のネットワークやサブネットワークを構築することである。
これにより、新しいタスクに対する余分な負担を省き、この問題に対処する方法がタスクインクリメンタルな学習においてオープンな問題として残されているため、メモリの増大が続く。
論文 参考訳（メタデータ） (2022-11-24T23:30:23Z) - Continual Learning with Dependency Preserving Hypernetworks [14.102057320661427]
継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。
本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。
さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
論文 参考訳（メタデータ） (2022-09-16T04:42:21Z) - E2-AEN: End-to-End Incremental Learning with Adaptively Expandable
Network [57.87240860624937]
本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。
以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。
E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
論文 参考訳（メタデータ） (2022-07-14T09:04:51Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳（メタデータ） (2021-09-15T21:19:11Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Auxiliary Learning by Implicit Differentiation [54.92146615836611]
補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。
そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。
まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。
第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
論文 参考訳（メタデータ） (2020-06-22T19:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。