Fugu-MT 論文翻訳(概要): HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning

論文の概要: HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning

arxiv url: http://arxiv.org/abs/2307.09653v2
Date: Sun, 4 Feb 2024 22:26:06 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 05:55:05.905921
Title: HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning
Title（参考訳）: hat-cl: 継続学習のためのタスク対応pytorchライブラリ
Authors: Xiaotian Duan
Abstract要約: 本稿では,ユーザフレンドリでPyTorch互換なHAT-CLについて紹介する。また,HATのための新しいマスク操作手法を導入する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Catastrophic forgetting, the phenomenon in which a neural network loses previously obtained knowledge during the learning of new tasks, poses a significant challenge in continual learning. The Hard-Attention-to-the-Task (HAT) mechanism has shown potential in mitigating this problem, but its practical implementation has been complicated by issues of usability and compatibility, and a lack of support for existing network reuse. In this paper, we introduce HAT-CL, a user-friendly, PyTorch-compatible redesign of the HAT mechanism. HAT-CL not only automates gradient manipulation but also streamlines the transformation of PyTorch modules into HAT modules. It achieves this by providing a comprehensive suite of modules that can be seamlessly integrated into existing architectures. Additionally, HAT-CL offers ready-to-use HAT networks that are smoothly integrated with the TIMM library. Beyond the redesign and reimplementation of HAT, we also introduce novel mask manipulation techniques for HAT, which have consistently shown improvements across various experiments. Our work paves the way for a broader application of the HAT mechanism, opening up new possibilities in continual learning across diverse models and applications.
Abstract（参考訳）: ニューラルネットワークが新しいタスクの学習中に得られた知識を失う破滅的な忘れ物は、継続的な学習において重要な課題となる。ハード・アテンション・トゥ・ザ・タスク(HAT)機構はこの問題を緩和する可能性を示しているが、ユーザビリティと互換性の問題や既存のネットワークの再利用サポートの欠如によりその実践は複雑である。本稿では,ユーザフレンドリなPyTorch互換のHAT-CLについて紹介する。 HAT-CLは勾配操作を自動化するだけでなく、PyTorchモジュールのHATモジュールへの変換を効率化する。既存のアーキテクチャにシームレスに統合可能なモジュールの包括的なスイートを提供することで、これを実現する。さらに hat-cl は,timm ライブラリとスムーズに統合可能な hat ネットワークも提供している。 hatの再設計と再実装以外にも,さまざまな実験で一貫して改善されている,新たなマスク操作テクニックも導入しています。我々の研究は、HATメカニズムのより広範な応用の道を開き、多様なモデルやアプリケーションにわたる継続的な学習の新たな可能性を開く。

関連論文リスト

CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。 CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
論文参考訳（メタデータ） (2024-11-21T22:31:06Z)
Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文参考訳（メタデータ） (2024-03-18T17:58:13Z)
Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-27T03:03:30Z)
SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
論文参考訳（メタデータ） (2024-01-16T11:45:03Z)
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey [0.6240603866868214]
MTL(Multi-Task Learning)は,共同学習による効率向上とパフォーマンス向上のための,有望なアプローチとして登場した。本稿では,機械学習ライフサイクルの典型的な段階を通じて,MLLアプローチを使用する上での課題と機会について論じる。 MTLと継続学習の両方を扱えるモデルを持つことは現実的だと思います。
論文参考訳（メタデータ） (2023-08-16T09:11:00Z)
Heterogeneous Continual Learning [88.53038822561197]
本稿では,ネットワークアーキテクチャの変更に伴う継続学習(CL)問題に対処する新しい枠組みを提案する。本研究は, 蒸留ファミリ上に構築し, より弱いモデルが教師の役割を担うような, 新たな環境に適応するものである。また、知識伝達を支援するために、タスク前の視覚的特徴を復元するクイック・ディープ・インバージョン(QDI)を提案する。
論文参考訳（メタデータ） (2023-06-14T15:54:42Z)
Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文参考訳（メタデータ） (2023-02-22T18:11:25Z)
Multi-Modal Few-Shot Temporal Action Detection [157.96194484236483]
Few-shot (FS) と Zero-shot (ZS) の学習は、時間的行動検出を新しいクラスに拡張するための2つの異なるアプローチである。我々は、FS-TADとZS-TADの結婚として考えられるMMFS (Multi-modality few-shot) TAD問題を導入する。
論文参考訳（メタデータ） (2022-11-27T18:13:05Z)
Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文参考訳（メタデータ） (2022-03-31T13:46:41Z)
Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks [13.308477955656592]
本稿では,ResNetの等尺バージョンに基づくモジュールネットワーク学習手法を提案する。本手法では,モジュールを繰り返し呼び出すことができ,新しいタスクへの知識伝達を可能にする。本手法は,マルチタスク学習,移動学習,ドメイン適応の場合に,モジュールの解釈可能な自己組織化につながることを示す。
論文参考訳（メタデータ） (2021-07-23T00:05:55Z)
Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
論文参考訳（メタデータ） (2020-10-05T15:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。