論文の概要: Ternary Feature Masks: zero-forgetting for task-incremental learning

• arxiv url: http://arxiv.org/abs/2001.08714v2
• Date: Wed, 21 Apr 2021 10:34:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 13:14:47.250275
• Title: Ternary Feature Masks: zero-forgetting for task-incremental learning
• Title（参考訳）: 3次特徴マスク:タスク増分学習のためのゼロフォーゲッティング
• Authors: Marc Masana, Tinne Tuytelaars, Joost van de Weijer
• Abstract要約: 本稿では,タスク認識体制の継続的な学習を忘れずにアプローチを提案する。 第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。 本手法は,重みに基づく手法と比較して,メモリオーバーヘッドを低減しつつ,最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 68.34518408920661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an approach without any forgetting to continual learning for the task-aware regime, where at inference the task-label is known. By using ternary masks we can upgrade a model to new tasks, reusing knowledge from previous tasks while not forgetting anything about them. Using masks prevents both catastrophic forgetting and backward transfer. We argue -- and show experimentally -- that avoiding the former largely compensates for the lack of the latter, which is rarely observed in practice. In contrast to earlier works, our masks are applied to the features (activations) of each layer instead of the weights. This considerably reduces the number of mask parameters for each new task; with more than three orders of magnitude for most networks. The encoding of the ternary masks into two bits per feature creates very little overhead to the network, avoiding scalability issues. To allow already learned features to adapt to the current task without changing the behavior of these features for previous tasks, we introduce task-specific feature normalization. Extensive experiments on several finegrained datasets and ImageNet show that our method outperforms current state-of-the-art while reducing memory overhead in comparison to weight-based approaches.
• Abstract（参考訳）: 本稿では,タスクラベルの推測を行うタスク認識体制において,継続学習を忘れてはならないアプローチを提案する。 第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。 マスクの使用は、破滅的な忘れと後方移動の両方を防ぐ。 我々は、前者を避けることが後者の欠如をほとんど補うと主張している。 以前の研究とは対照的に、我々のマスクは重量ではなく各層の特徴(活動)に適用される。 これにより、新しいタスクごとにマスクパラメータの数が大幅に減少し、ほとんどのネットワークでは3桁を超える。 三項マスクを機能ごとに2ビットに符号化することは、ネットワークのオーバーヘッドを少なくし、スケーラビリティの問題を回避する。 既存のタスクの動作を変更することなく、学習済みの機能を現在のタスクに適応させるため、タスク固有の機能正規化を導入する。 複数のきめ細かいデータセットとimagenetに関する広範囲な実験により、本手法は、重み付けによるアプローチに比べてメモリオーバーヘッドを低減しつつ、現在の最先端を上回っていることが示された。

関連論文リスト

• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• PT-Tuning: Bridging the Gap between Time Series Masked Reconstruction and Forecasting via Prompt Token Tuning [14.332279447231416]
  近年,自己指導型学習が時系列領域で盛んに研究されている。 これらの手法の多くは、新しいデコーダが事前訓練されたデコーダを置き換える"事前訓練+微調整"パラダイムに従っている。 本稿では,事前学習したパラメータをすべて凍結し,拡張マスクトークンに数個のトレーニング可能なプロンプトトークンを追加する,シンプルで効果的なプロンプトチューニング(PT-Tuning)パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-07T07:11:27Z)
• Regularized Mask Tuning: Uncovering Hidden Knowledge in Pre-trained Vision-Language Models [89.07925369856139]
  我々は,学習可能な選択によってネットワークパラメータをマスクする,正規化マスクチューニングと呼ばれる新しいタイプのチューニング手法を設計する。 神経経路にインスパイアされた我々は、下流タスクに必要な知識は、既にトレーニング済みの重みの中に存在するが、上流のトレーニング済みの段階では隠されていると論じる。 平均2.56%のパラメータをマスキングすることで、ゼロショットのCLIPと比較して18.73%のパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2023-07-27T17:56:05Z)
• ImpressLearn: Continual Learning via Combined Task Impressions [0.0]
  本研究は、破滅的な忘れを苦しめることなく、複数のタスクでディープニューラルネットワークを逐次訓練する新しい手法を提案する。 ランダムなバックボーンネットワーク上で少数のタスク固有のマスクの線形結合を学習するだけで、以前に学習したタスクの精度を維持したり、新しいタスクの精度を高めることができることを示す。
  論文  参考訳（メタデータ） (2022-10-05T02:28:25Z)
• Incremental Task Learning with Incremental Rank Updates [20.725181015069435]
  低ランク因数分解に基づく新しい漸進的タスク学習フレームワークを提案する。 提案手法は,現在の最先端手法よりも,精度と忘れやすさの点で優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-19T05:21:14Z)
• KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
  Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。 最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。 我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T21:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。