論文の概要: HOP to the Next Tasks and Domains for Continual Learning in NLP
- arxiv url: http://arxiv.org/abs/2402.18449v1
- Date: Wed, 28 Feb 2024 16:21:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:29:33.674290
- Title: HOP to the Next Tasks and Domains for Continual Learning in NLP
- Title（参考訳）: nlpにおける継続学習のための次のタスクとドメインにホップする
- Authors: Umberto Michieli, Mete Ozay
- Abstract要約: CL(Continuous Learning)は、従来の問題に基づいて獲得した知識を伝達することで、一連の問題を学習することを目的としている。
本稿では、一意のフレームワークにおける一連の問題から学ぶための、より一般的なCL設定について述べる。
提案手法であるHOPでは,CL問題に3方向に対処することで,タスクやドメインをホップすることができる。
- 参考スコア（独自算出の注目度）: 27.594999630879027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Learning (CL) aims to learn a sequence of problems (i.e., tasks and
domains) by transferring knowledge acquired on previous problems, whilst
avoiding forgetting of past ones. Different from previous approaches which
focused on CL for one NLP task or domain in a specific use-case, in this paper,
we address a more general CL setting to learn from a sequence of problems in a
unique framework. Our method, HOP, permits to hop across tasks and domains by
addressing the CL problem along three directions: (i) we employ a set of
adapters to generalize a large pre-trained model to unseen problems, (ii) we
compute high-order moments over the distribution of embedded representations to
distinguish independent and correlated statistics across different tasks and
domains, (iii) we process this enriched information with auxiliary heads
specialized for each end problem. Extensive experimental campaign on 4 NLP
applications, 5 benchmarks and 2 CL setups demonstrates the effectiveness of
our HOP.
- Abstract（参考訳）: 継続学習(CL)は、過去の問題を忘れることを避けつつ、過去の問題から得た知識を伝達することで、一連の問題(タスクやドメイン)を学習することを目的としている。
本稿では,特定のユースケースにおける1つのnlpタスクやドメインのclにフォーカスした従来のアプローチと異なり,より一般的なcl設定に対処し,問題列から一意なフレームワークで学習する。
我々の方法であるHOPは、CL問題に3つの方向で対処することで、タスクやドメインをホップすることができる。
(i)大きな事前学習されたモデルを一般化するために,アダプタのセットを用いる。
(ii)異なるタスクやドメイン間で独立かつ相関のある統計を区別するために,組込み表現の分布上の高次モーメントを計算する。
(iii)各エンド問題に特化した補助ヘッドでこの強化情報を処理する。
4つのnlpアプリケーションに対する広範な実験キャンペーン、5つのベンチマーク、2つのclセットアップは、我々のホップの有効性を示しています。
関連論文リスト
- POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2023-06-14T02:09:26Z) - KGA: A General Machine Unlearning Framework Based on Knowledge Gap
Alignment [51.15802100354848]
我々は,忘れやすさを誘発する一般学習フレームワークKGAを提案する。
大規模なデータセットの実験は、KGAがベースラインよりも包括的な改善をもたらすことを示している。
論文 参考訳（メタデータ） (2023-05-11T02:44:29Z) - Active Continual Learning: On Balancing Knowledge Retention and
Learnability [43.6658577908349]
一連のタスクで学んだことを忘れずに新しい知識を取得することは、継続学習(CL)の中心的焦点である。
本稿では, 能動連続学習(ACL)の課題の列における未探索問題について考察する。
ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。
論文 参考訳（メタデータ） (2023-05-06T04:11:03Z) - Deep Learning for Cross-Domain Few-Shot Visual Recognition: A Survey [33.00835033658241]
わずかながらの学習により、モデルは非常に少ないラベル付き例でターゲットタスクを実行することができる。
この制限を克服するため、クロスドメインな数ショット学習が注目されている。
本稿では,クロスドメインFew-shot Learningの総合的なレビューを行う。
論文 参考訳（メタデータ） (2023-03-15T12:18:16Z) - CL-CrossVQA: A Continual Learning Benchmark for Cross-Domain Visual
Question Answering [31.983067109848342]
CL-CrossVQAは、クロスドメイン視覚質問応答のための厳密な連続学習ベンチマークである。
我々は,4つのVLPM,4つのCLアプローチ,および5つのVQAデータセットに関する広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-11-19T02:43:30Z) - Consecutive Question Generation via Dynamic Multitask Learning [17.264399861776187]
本稿では,論理的に関連する質問応答対の集合を生成する連続質問生成タスク(CQG)を提案する。
まず、CQGの4つのキー要素について検討し、1つのメインタスクが質問応答ペアを生成し、4つの補助タスクが他の要素を生成する新しい動的マルチタスクフレームワークを提案する。
我々は,我々の戦略が質問生成を大幅に改善し,複数の関連するNLPタスクに利益をもたらすことを証明した。
論文 参考訳（メタデータ） (2022-11-16T11:50:36Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Curriculum Learning for Reinforcement Learning Domains: A Framework and
Survey [53.73359052511171]
強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。
本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
論文 参考訳（メタデータ） (2020-03-10T20:41:24Z) - CoLES: Contrastive Learning for Event Sequences with Self-Supervision [63.3568071938238]
本研究では,実世界のユーザが生成する個別イベントシーケンスにおける自己教師型学習の課題に対処する。
従来,音声やコンピュータビジョンの領域で使われていたコントラスト学習に適応する新しい手法"CoLES"を提案する。
論文 参考訳（メタデータ） (2020-02-19T15:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。