論文の概要: Memory Efficient Continual Learning for Neural Text Classification
- arxiv url: http://arxiv.org/abs/2203.04640v1
- Date: Wed, 9 Mar 2022 10:57:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 14:01:07.578859
- Title: Memory Efficient Continual Learning for Neural Text Classification
- Title（参考訳）: ニューラルテキスト分類のためのメモリ効率の高い連続学習
- Authors: Beyza Ermis, Giovanni Zappella, Martin Wistuba, Cedric Archambeau
- Abstract要約: そこで本研究では,事前学習モデルを用いてテキスト分類を行う手法を提案する。
実験により,本手法では,他の手法と比較して,モデルパラメータが著しく少ないことが実証された。
我々の手法はほとんど忘れられませんが、予測性能は技術水準と同等に保たれますが、メモリ効率は低いです。
- 参考スコア（独自算出の注目度）: 10.70710638820641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning text classifiers based on pre-trained language models has become the
standard practice in natural language processing applications. Unfortunately,
training large neural language models, such as transformers, from scratch is
very costly and requires a vast amount of training data, which might not be
available in the application domain of interest. Moreover, in many real-world
scenarios, classes are uncovered as more data is seen, calling for
class-incremental modelling approaches. In this work we devise a method to
perform text classification using pre-trained models on a sequence of
classification tasks provided in sequence. We formalize the problem as a
continual learning problem where the algorithm learns new tasks without
performance degradation on the previous ones and without re-training the model
from scratch. We empirically demonstrate that our method requires significantly
less model parameters compared to other state of the art methods and that it is
significantly faster at inference time. The tight control on the number of
model parameters, and so the memory, is not only improving efficiency. It is
making possible the usage of the algorithm in real-world applications where
deploying a solution with a constantly increasing memory consumption is just
unrealistic. While our method suffers little forgetting, it retains a
predictive performance on-par with state of the art but less memory efficient
methods.
- Abstract（参考訳）: 事前学習された言語モデルに基づくテキスト分類器の学習は、自然言語処理アプリケーションにおける標準的実践となっている。
残念ながら、トランスフォーマーのような大規模なニューラルネットワークモデルをゼロからトレーニングするのは非常にコストがかかり、大量のトレーニングデータを必要とする。
さらに、多くの現実世界のシナリオでは、より多くのデータが見えるとクラスが発見され、クラスインクリメンタルなモデリングアプローチが求められます。
本研究では,逐次的に提供される分類タスクのシーケンス上で,事前学習したモデルを用いてテキスト分類を行う手法を考案する。
我々は,アルゴリズムが従来のタスクの性能劣化を伴わず,スクラッチからモデルを再学習することなく新しいタスクを学習する連続学習問題として問題を定式化する。
実験により,本手法では,他の手法と比較して,モデルパラメータが著しく少なく,推論時にかなり高速であることが実証された。
モデルパラメータの数、つまりメモリ数の厳密な制御は、効率を向上するばかりではない。
常にメモリ消費を増大させるソリューションをデプロイする実際のアプリケーションでは、アルゴリズムの使用は非現実的である。
我々の手法はほとんど忘れられませんが、予測性能は技術水準と同等に保たれますが、メモリ効率は低いです。
関連論文リスト
- Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Improving Temporal Generalization of Pre-trained Language Models with
Lexical Semantic Change [28.106524698188675]
近年の研究では、大規模なニューラルネットワークモデルが時間的一般化能力の低下に悩まされていることが明らかになっている。
本稿では,収束した言語モデルを学習後処理するための,単純かつ効果的な語彙レベルのマスキング手法を提案する。
論文 参考訳（メタデータ） (2022-10-31T08:12:41Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - Revisiting Classifier: Transferring Vision-Language Models for Video
Recognition [102.93524173258487]
ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。
本研究では,映像分類作業における知識の伝達に着目した。
予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
論文 参考訳（メタデータ） (2022-07-04T10:00:47Z) - Continual Learning with Transformers for Image Classification [12.028617058465333]
コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。
本研究では,適応型適応器の蒸留法 (ADA) を開発した。
本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
論文 参考訳（メタデータ） (2022-06-28T15:30:10Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-12T04:42:49Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-03-09T17:26:53Z) - Cold-start Active Learning through Self-supervised Language Modeling [15.551710499866239]
アクティブラーニングは、ラベルに最も重要な例を選択することで、アノテーションのコストを削減することを目的としている。
BERTでは、マスク付き言語モデリング損失に基づく単純な戦略を開発する。
他のベースラインと比較して,本手法はより少ないサンプリングイテレーションと時間で精度が高い。
論文 参考訳（メタデータ） (2020-10-19T14:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。