論文の概要: Continual Learning for Natural Language Generation in Task-oriented
Dialog Systems
- arxiv url: http://arxiv.org/abs/2010.00910v1
- Date: Fri, 2 Oct 2020 10:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 00:31:09.595528
- Title: Continual Learning for Natural Language Generation in Task-oriented
Dialog Systems
- Title(参考訳): タスク指向対話システムにおける自然言語生成の連続学習
- Authors: Fei Mi, Liangwei Chen, Mengjie Zhao, Minlie Huang and Boi Faltings
- Abstract要約: 自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。
我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。
この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
- 参考スコア(独自算出の注目度): 72.92029584113676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language generation (NLG) is an essential component of task-oriented
dialog systems. Despite the recent success of neural approaches for NLG, they
are typically developed in an offline manner for particular domains. To better
fit real-life applications where new data come in a stream, we study NLG in a
"continual learning" setting to expand its knowledge to new domains or
functionalities incrementally. The major challenge towards this goal is
catastrophic forgetting, meaning that a continually trained model tends to
forget the knowledge it has learned before. To this end, we propose a method
called ARPER (Adaptively Regularized Prioritized Exemplar Replay) by replaying
prioritized historical exemplars, together with an adaptive regularization
technique based on ElasticWeight Consolidation. Extensive experiments to
continually learn new domains and intents are conducted on MultiWoZ-2.0 to
benchmark ARPER with a wide range of techniques. Empirical results demonstrate
that ARPER significantly outperforms other methods by effectively mitigating
the detrimental catastrophic forgetting issue.
- Abstract(参考訳): 自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。
NLGのニューラルアプローチは近年成功しているが、通常は特定のドメインに対してオフラインで開発されている。
新しいデータがストリームに現れるような現実のアプリケーションをより適させるため、nlgを"継続的な学習"環境で研究し、知識を新たなドメインや機能へと段階的に拡大する。
この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
そこで,本稿では,優先度付けされた履歴を再生するARPER(Adaptively Regularized Prioritized Exemplar Replay)と,Elastic Weight Consolidationに基づく適応正規化手法を提案する。
新しいドメインやインテントを継続的に学習するための広範な実験が、幅広いテクニックを用いたベンチマークarperに対して、multiwoz-2.0で行われます。
実証実験の結果,ARPERは他の方法よりも優れていることが確認された。
関連論文リスト
- Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。
提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
論文 参考訳(メタデータ) (2023-10-22T02:23:44Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - Adaptive Explainable Continual Learning Framework for Regression
Problems with Focus on Power Forecasts [0.0]
この文脈における潜在的な課題を説明するために、2つの連続的な学習シナリオが提案される。
ディープニューラルネットワークは、新しいタスクを学習し、アプリケーションのデータ量が増加し続けるにつれて、古いタスクから得た知識を忘れないようにしなければならない。
研究トピックは関連しているが、連続的なディープラーニングアルゴリズムの開発、データストリームにおける非定常検出戦略、説明可能で可視化可能な人工知能などに限定されていない。
論文 参考訳(メタデータ) (2021-08-24T14:59:10Z) - Lifelong Intent Detection via Multi-Strategy Rebalancing [18.424132535727217]
本稿では,新しいデータに対するIDモデルを継続的に訓練し,新たな意図を学習するライフロングインテント検出(LID)を提案する。
既存の生涯学習手法は、通常、LIDタスクにおける古いデータと新しいデータの間の深刻な不均衡に悩まされる。
本稿では,コサイン正規化,階層的知識蒸留,クラス間マージン損失からなる,新しい生涯学習手法であるMulti-Strategy Rebalancing(MSR)を提案する。
論文 参考訳(メタデータ) (2021-08-10T04:35:13Z) - DRILL: Dynamic Representations for Imbalanced Lifelong Learning [15.606651610221416]
継続的あるいは生涯学習は、これまで機械学習において長年の課題だった。
オープンドメインテキスト分類のための新しい連続学習アーキテクチャDRILLを紹介する。
論文 参考訳(メタデータ) (2021-05-18T11:36:37Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Meta-Learning with Variational Bayes [0.0]
生成メタ学習のより一般的な問題に対処する新しいアプローチを提案する。
我々の貢献は、AEVBフレームワークと平均場変動ベイズを活用し、高速適応潜在空間生成モデルを作成する。
我々の貢献の核心は新たな成果であり、広範囲の深層生成潜在変数モデルにおいて、関連するVB更新は生成ニューラルネットワークに依存しないことを示している。
論文 参考訳(メタデータ) (2021-03-03T09:02:01Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳(メタデータ) (2020-11-16T08:24:34Z) - Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。
本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。
提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
論文 参考訳(メタデータ) (2020-04-29T10:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。