論文の概要: Continual Learning for Text Classification with Information Disentanglement Based Regularization

• arxiv url: http://arxiv.org/abs/2104.05489v1
• Date: Mon, 12 Apr 2021 14:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:40:10.159873
• Title: Continual Learning for Text Classification with Information Disentanglement Based Regularization
• Title（参考訳）: 情報分散に基づく正規化によるテキスト分類の連続学習
• Authors: Yufan Huang, Yanzhe Zhang, Jiaao Chen, Xuezhi Wang and Diyi Yang
• Abstract要約: テキスト分類に基づく連続学習のための情報分散に基づく正規化手法を提案する。 大規模ベンチマーク実験の結果,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 18.258948837964724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning has become increasingly important as it enables NLP models to constantly learn and gain knowledge over time. Previous continual learning methods are mainly designed to preserve knowledge from previous tasks, without much emphasis on how to well generalize models to new tasks. In this work, we propose an information disentanglement based regularization method for continual learning on text classification. Our proposed method first disentangles text hidden spaces into representations that are generic to all tasks and representations specific to each individual task, and further regularizes these representations differently to better constrain the knowledge required to generalize. We also introduce two simple auxiliary tasks: next sentence prediction and task-id prediction, for learning better generic and specific representation spaces. Experiments conducted on large-scale benchmarks demonstrate the effectiveness of our method in continual text classification tasks with various sequences and lengths over state-of-the-art baselines. We have publicly released our code at https://github.com/GT-SALT/IDBR.
• Abstract（参考訳）: NLPモデルが絶えず学習し、時間とともに知識を得ることを可能にすることで、継続的な学習がますます重要になっている。 従来の継続学習手法は主に、モデルを新しいタスクに適切に一般化する方法に重点を置くことなく、以前のタスクからの知識を保存するように設計されている。 本研究では,テキスト分類に基づく連続学習のための情報分散に基づく正規化手法を提案する。 提案手法は,まずテキスト隠れ空間を,各タスクに固有のすべてのタスクや表現に共通する表現に分解し,さらにこれらの表現を別々に正規化し,一般化に必要な知識をよりよく制約する。 また,より一般的な表現空間や特定の表現空間を学習するために,次の文予測とタスクid予測という2つの単純な補助タスクも導入する。 大規模ベンチマークで行った実験は,最先端のベースラインに対する様々なシーケンスと長さを持つ連続テキスト分類タスクにおいて,本手法の有効性を示した。 私たちはコードをhttps://github.com/gt-salt/idbr.orgで公開しました。

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
  命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。 また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。 インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• Adaptive Multi-Modality Prompt Learning [21.86784369327551]
  上記の問題に対処するために,適応型マルチモーダリティ・プロンプト学習を提案する。 画像プロンプト学習は、まず意味のないパッチをマスキングし、学習可能なパラメータとテキストからの情報をパディングすることで、サンプル内およびサンプル外一般化を実現する。 実データを用いた実験結果から,本手法は下流の異なるタスクにおいてSOTA法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-30T12:10:22Z)
• Learning Symbolic Rules over Abstract Meaning Representations for Textual Reinforcement Learning [63.148199057487226]
  本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。 実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
  論文  参考訳（メタデータ） (2023-07-05T23:21:05Z)
• CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script Handwritten Text Recognition [16.987008461171065]
  我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。 提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。 私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
  論文  参考訳（メタデータ） (2023-03-16T14:27:45Z)
• Unveiling the Tapestry: the Interplay of Generalization and Forgetting in Continual Learning [18.61040106667249]
  AIでは、一般化とは、与えられたタスクに関連するアウト・オブ・ディストリビューション・データに対して、トレーニングされたデータ以外にうまく機能するモデルの能力を指す。 継続的な学習方法は、しばしば破滅的な忘れを軽減し、以前のタスクからの知識を確実に保持するメカニズムを含んでいる。 本稿では, 形状テクスチュア整合性規則化(STCR)と呼ばれる, 連続的な学習を支援する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T04:36:24Z)
• Learning Downstream Task by Selectively Capturing Complementary Knowledge from Multiple Self-supervisedly Learning Pretexts [20.764378638979704]
  本稿では,タスクに適した表現を適応的に絞り込むために,アテンション機構を活用する新しい手法を提案する。 本手法は,知識収集において,現在普及しているテキストマッチング手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-04-11T16:46:50Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。