論文の概要: Continual Learning for Text Classification with Information
Disentanglement Based Regularization
- arxiv url: http://arxiv.org/abs/2104.05489v1
- Date: Mon, 12 Apr 2021 14:17:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 14:40:10.159873
- Title: Continual Learning for Text Classification with Information
Disentanglement Based Regularization
- Title(参考訳): 情報分散に基づく正規化によるテキスト分類の連続学習
- Authors: Yufan Huang, Yanzhe Zhang, Jiaao Chen, Xuezhi Wang and Diyi Yang
- Abstract要約: テキスト分類に基づく連続学習のための情報分散に基づく正規化手法を提案する。
大規模ベンチマーク実験の結果,本手法の有効性が示された。
- 参考スコア(独自算出の注目度): 18.258948837964724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning has become increasingly important as it enables NLP models
to constantly learn and gain knowledge over time. Previous continual learning
methods are mainly designed to preserve knowledge from previous tasks, without
much emphasis on how to well generalize models to new tasks. In this work, we
propose an information disentanglement based regularization method for
continual learning on text classification. Our proposed method first
disentangles text hidden spaces into representations that are generic to all
tasks and representations specific to each individual task, and further
regularizes these representations differently to better constrain the knowledge
required to generalize. We also introduce two simple auxiliary tasks: next
sentence prediction and task-id prediction, for learning better generic and
specific representation spaces. Experiments conducted on large-scale benchmarks
demonstrate the effectiveness of our method in continual text classification
tasks with various sequences and lengths over state-of-the-art baselines. We
have publicly released our code at https://github.com/GT-SALT/IDBR.
- Abstract(参考訳): NLPモデルが絶えず学習し、時間とともに知識を得ることを可能にすることで、継続的な学習がますます重要になっている。
従来の継続学習手法は主に、モデルを新しいタスクに適切に一般化する方法に重点を置くことなく、以前のタスクからの知識を保存するように設計されている。
本研究では,テキスト分類に基づく連続学習のための情報分散に基づく正規化手法を提案する。
提案手法は,まずテキスト隠れ空間を,各タスクに固有のすべてのタスクや表現に共通する表現に分解し,さらにこれらの表現を別々に正規化し,一般化に必要な知識をよりよく制約する。
また,より一般的な表現空間や特定の表現空間を学習するために,次の文予測とタスクid予測という2つの単純な補助タスクも導入する。
大規模ベンチマークで行った実験は,最先端のベースラインに対する様々なシーケンスと長さを持つ連続テキスト分類タスクにおいて,本手法の有効性を示した。
私たちはコードをhttps://github.com/gt-salt/idbr.orgで公開しました。
関連論文リスト
- Adaptive Multi-Modality Prompt Learning [21.86784369327551]
上記の問題に対処するために,適応型マルチモーダリティ・プロンプト学習を提案する。
画像プロンプト学習は、まず意味のないパッチをマスキングし、学習可能なパラメータとテキストからの情報をパディングすることで、サンプル内およびサンプル外一般化を実現する。
実データを用いた実験結果から,本手法は下流の異なるタスクにおいてSOTA法より優れていることが示された。
論文 参考訳(メタデータ) (2023-11-30T12:10:22Z) - Subspace Chronicles: How Linguistic Information Emerges, Shifts and
Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。
タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。
この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文 参考訳(メタデータ) (2023-10-25T09:09:55Z) - Learning Symbolic Rules over Abstract Meaning Representations for
Textual Reinforcement Learning [63.148199057487226]
本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。
実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
論文 参考訳(メタデータ) (2023-07-05T23:21:05Z) - Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。
SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
論文 参考訳(メタデータ) (2023-05-24T16:00:54Z) - CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script
Handwritten Text Recognition [7.39273105421963]
我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。
提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。
私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
論文 参考訳(メタデータ) (2023-03-16T14:27:45Z) - Learning Downstream Task by Selectively Capturing Complementary
Knowledge from Multiple Self-supervisedly Learning Pretexts [20.764378638979704]
本稿では,タスクに適した表現を適応的に絞り込むために,アテンション機構を活用する新しい手法を提案する。
本手法は,知識収集において,現在普及しているテキストマッチング手法をはるかに上回っている。
論文 参考訳(メタデータ) (2022-04-11T16:46:50Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-28T06:14:38Z) - Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。
連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。
共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文 参考訳(メタデータ) (2021-01-15T15:12:51Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳(メタデータ) (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。