論文の概要: Semi-Supervised Lifelong Language Learning

• arxiv url: http://arxiv.org/abs/2211.13050v1
• Date: Wed, 23 Nov 2022 15:51:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 15:06:05.163309
• Title: Semi-Supervised Lifelong Language Learning
• Title（参考訳）: 半教師付き生涯言語学習
• Authors: Yingxiu Zhao, Yinhe Zheng, Bowen Yu, Zhiliang Tian, Dongkyu Lee, Jian Sun, Haiyang Yu, Yongbin Li, Nevin L. Zhang
• Abstract要約: ラベル付きデータとラベルなしデータの両方を用いて、モデルが逐次到着する言語タスクを学習する、新しい半教師付き生涯言語学習(SSLL)について検討する。 特に、破滅的な忘れを軽減し、ラベルのないデータを活用するために2つのモジュールを設計するために、タスク固有のモジュールに特化しています。 各種言語課題に対する実験結果から,本モデルの有効性と,競争的ベースラインよりも優越性を示す。
• 参考スコア（独自算出の注目度）: 81.0685290973989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning aims to accumulate knowledge and alleviate catastrophic forgetting when learning tasks sequentially. However, existing lifelong language learning methods only focus on the supervised learning setting. Unlabeled data, which can be easily accessed in real-world scenarios, are underexplored. In this paper, we explore a novel setting, semi-supervised lifelong language learning (SSLL), where a model learns sequentially arriving language tasks with both labeled and unlabeled data. We propose an unlabeled data enhanced lifelong learner to explore SSLL. Specially, we dedicate task-specific modules to alleviate catastrophic forgetting and design two modules to exploit unlabeled data: (1) a virtual supervision enhanced task solver is constructed on a teacher-student framework to mine the underlying knowledge from unlabeled data; and (2) a backward augmented learner is built to encourage knowledge transfer from newly arrived unlabeled data to previous tasks. Experimental results on various language tasks demonstrate our model's effectiveness and superiority over competitive baselines under the new setting SSLL.
• Abstract（参考訳）: 生涯学習は、知識を蓄積し、タスクを逐次学習する際に破滅的な忘れを和らげることを目的としている。 しかし,既存の生涯学習手法は教師付き学習環境にのみ焦点をあてている。 現実世界のシナリオで簡単にアクセス可能なラベルのないデータは、未調査である。 本稿では,ラベル付きデータとラベルなしデータの両方を用いて,モデルが逐次到着する言語タスクを学習する,半教師付き生涯言語学習(SSLL)を提案する。 SSLLを探索するために、ラベルなしの生涯学習者を提案する。 特に,無ラベルデータを利用するために,壊滅的な忘れを緩和し,2つのモジュールを設計するタスク特化モジュールを考案する。(1)教師学習フレームワーク上に仮想監督強化タスクソルバを構築し,無ラベルデータから基礎となる知識を発掘し,(2)新しく到着した無ラベルデータから以前のタスクへの知識伝達を促すために,下位拡張学習器を構築した。 様々な言語タスクの実験結果から,新たなSSLLの下での競争ベースラインよりもモデルの有効性と優位性を示す。

関連論文リスト

• Tabular Transfer Learning via Prompting LLMs [52.96022335067357]
  大規模言語モデル(LLM)を用いたラベル付き(あるいは異種)ソースデータを利用した新しいフレームワークPrompt to Transfer (P2T)を提案する。 P2Tは、ターゲットタスク機能と強く相関しているソースデータセットの列の特徴を特定し、ターゲットタスクに関連する例を作成し、プロンプトの擬似宣言を生成する。
  論文  参考訳（メタデータ） (2024-08-09T11:30:52Z)
• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Learning to Learn for Few-shot Continual Active Learning [9.283518682371756]
  継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。 連続学習の最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。 我々はメタラーニングを活用し,メタコンチネンタルアクティブラーニングと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T05:22:11Z)
• Learning without Forgetting for Vision-Language Models [65.49600786387106]
  CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。 VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。 本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:59:32Z)
• Learning to Predict Gradients for Semi-Supervised Continual Learning [36.715712711431856]
  マシンインテリジェンスの主な課題は、以前獲得した知識を忘れずに、新しい視覚概念を学習することだ。 既存の教師付き連続学習と人間のような知性の間にはギャップがあり、人間はラベル付きデータとラベルなしデータの両方から学ぶことができる。 我々は,既存の連続学習モデルに汎用的に適用可能な,半教師付き連続学習法を定式化した。
  論文  参考訳（メタデータ） (2022-01-23T06:45:47Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Meta-Learning with Sparse Experience Replay for Lifelong Language Learning [26.296412053816233]
  本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。 本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
  論文  参考訳（メタデータ） (2020-09-10T14:36:38Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。