論文の概要: Total Recall: a Customized Continual Learning Method for Neural Semantic Parsers

• arxiv url: http://arxiv.org/abs/2109.05186v2
• Date: Wed, 15 Sep 2021 04:16:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-18 17:06:37.042307
• Title: Total Recall: a Customized Continual Learning Method for Neural Semantic Parsers
• Title（参考訳）: トータルリコール:ニューラルセマンティックパーザのためのカスタマイズされた連続学習法
• Authors: Zhuang Li, Lizhen Qu, Gholamreza Haffari
• Abstract要約: ニューラルセマンティックは、以前のタスクから完全なトレーニングデータにアクセスすることなく、シーケンシャルにタスクを学習する。 本稿では,2つの側面からニューラルセマンティクスを学習するための連続学習手法であるTotalRecallを提案する。 我々は,TotalRecallで訓練したニューラルネットワークセマンティクスが,SOTA連続学習アルゴリズムで直接訓練したセマンティクスよりも優れた性能を達成し,スクラッチからのトレーニングに比べて3～6倍の高速化を実現することを示した。
• 参考スコア（独自算出の注目度）: 38.035925090154024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates continual learning for semantic parsing. In this setting, a neural semantic parser learns tasks sequentially without accessing full training data from previous tasks. Direct application of the SOTA continual learning algorithms to this problem fails to achieve comparable performance with re-training models with all seen tasks because they have not considered the special properties of structured outputs yielded by semantic parsers. Therefore, we propose TotalRecall, a continual learning method designed for neural semantic parsers from two aspects: i) a sampling method for memory replay that diversifies logical form templates and balances distributions of parse actions in a memory; ii) a two-stage training method that significantly improves generalization capability of the parsers across tasks. We conduct extensive experiments to study the research problems involved in continual semantic parsing and demonstrate that a neural semantic parser trained with TotalRecall achieves superior performance than the one trained directly with the SOTA continual learning algorithms and achieve a 3-6 times speedup compared to re-training from scratch. Code and datasets are available at: https://github.com/zhuang-li/cl_nsp.
• Abstract（参考訳）: 本稿では,意味解析のための連続学習について検討する。 この設定では、ニューラルセマンティックパーザは、以前のタスクから完全なトレーニングデータにアクセスすることなく、逐次タスクを学習する。 sota連続学習アルゴリズムのこの問題への直接適用は、セマンティックパーサによって得られる構造化出力の特殊特性を考慮していないため、すべてのタスクで再学習モデルと同等の性能を達成できない。 そこで我々は,ニューラル・セマンティック・パーサーのための連続学習手法であるTotalRecallを提案する。 一 論理形式のテンプレートを多様化し、メモリ内のパースアクションの分布のバランスをとるメモリリプレイのサンプリング方法 二 タスク間のパーサーの一般化能力を大幅に向上させる二段階訓練方法。 我々は, 連続的意味解析に関わる研究課題について広範な実験を行い, トータルリコールで訓練したニューラルセマンティックパーザは, SOTA連続学習アルゴリズムで直接訓練したものよりも優れた性能を示し, スクラッチから再学習するよりも3～6倍のスピードアップを達成した。 コードとデータセットは以下の通りである。

関連論文リスト

• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
  1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。 本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。 提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
  論文  参考訳（メタデータ） (2023-01-07T01:35:25Z)
• The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
  自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。 本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
  論文  参考訳（メタデータ） (2022-05-29T14:57:33Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。