論文の概要: Continual Learning for Natural Language Generation in Task-oriented Dialog Systems

• arxiv url: http://arxiv.org/abs/2010.00910v1
• Date: Fri, 2 Oct 2020 10:32:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:31:09.595528
• Title: Continual Learning for Natural Language Generation in Task-oriented Dialog Systems
• Title（参考訳）: タスク指向対話システムにおける自然言語生成の連続学習
• Authors: Fei Mi, Liangwei Chen, Mengjie Zhao, Minlie Huang and Boi Faltings
• Abstract要約: 自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
• 参考スコア（独自算出の注目度）: 72.92029584113676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language generation (NLG) is an essential component of task-oriented dialog systems. Despite the recent success of neural approaches for NLG, they are typically developed in an offline manner for particular domains. To better fit real-life applications where new data come in a stream, we study NLG in a "continual learning" setting to expand its knowledge to new domains or functionalities incrementally. The major challenge towards this goal is catastrophic forgetting, meaning that a continually trained model tends to forget the knowledge it has learned before. To this end, we propose a method called ARPER (Adaptively Regularized Prioritized Exemplar Replay) by replaying prioritized historical exemplars, together with an adaptive regularization technique based on ElasticWeight Consolidation. Extensive experiments to continually learn new domains and intents are conducted on MultiWoZ-2.0 to benchmark ARPER with a wide range of techniques. Empirical results demonstrate that ARPER significantly outperforms other methods by effectively mitigating the detrimental catastrophic forgetting issue.
• Abstract（参考訳）: 自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 NLGのニューラルアプローチは近年成功しているが、通常は特定のドメインに対してオフラインで開発されている。 新しいデータがストリームに現れるような現実のアプリケーションをより適させるため、nlgを"継続的な学習"環境で研究し、知識を新たなドメインや機能へと段階的に拡大する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。 そこで,本稿では,優先度付けされた履歴を再生するARPER(Adaptively Regularized Prioritized Exemplar Replay)と,Elastic Weight Consolidationに基づく適応正規化手法を提案する。 新しいドメインやインテントを継続的に学習するための広範な実験が、幅広いテクニックを用いたベンチマークarperに対して、multiwoz-2.0で行われます。 実証実験の結果,ARPERは他の方法よりも優れていることが確認された。

関連論文リスト

• Preserving Generalization of Language models in Few-shot Continual Relation Extraction [34.68364639170838]
  FCRE(Few-shot Continual Relations extract)は、新たな研究分野である。 本稿では,よく捨てられる言語モデルヘッドを活用する新しい手法を提案する。 提案手法の有効性を実証し,今後の研究に有用な知見を提供する。
  論文  参考訳（メタデータ） (2024-10-01T02:22:34Z)
• P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task [94.08478298711789]
  Embodied Everyday Taskは、インボディードAIコミュニティで人気のあるタスクである。 自然言語命令は明示的なタスクプランニングを欠くことが多い。 タスク環境に関する知識をモデルに組み込むには、広範囲なトレーニングが必要である。
  論文  参考訳（メタデータ） (2024-09-17T15:29:34Z)
• Sequential Editing for Lifelong Training of Speech Recognition Models [10.770491329674401]
  新しいドメインリスクにのみ焦点をあてた微調整(CF) ASRシステムにおける新しい領域を継続的に学習するための新しい手法としてシーケンスモデル編集を提案する。 本研究は,最大15%の単語誤り率削減(WERR)を微調整ベースライン上で実現し,CommonVoice English Multi-accent データセット上での他のLLL手法よりも優れた効率性を示した。
  論文  参考訳（メタデータ） (2024-06-25T20:52:09Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Adaptive Explainable Continual Learning Framework for Regression Problems with Focus on Power Forecasts [0.0]
  この文脈における潜在的な課題を説明するために、2つの連続的な学習シナリオが提案される。 ディープニューラルネットワークは、新しいタスクを学習し、アプリケーションのデータ量が増加し続けるにつれて、古いタスクから得た知識を忘れないようにしなければならない。 研究トピックは関連しているが、連続的なディープラーニングアルゴリズムの開発、データストリームにおける非定常検出戦略、説明可能で可視化可能な人工知能などに限定されていない。
  論文  参考訳（メタデータ） (2021-08-24T14:59:10Z)
• DRILL: Dynamic Representations for Imbalanced Lifelong Learning [15.606651610221416]
  継続的あるいは生涯学習は、これまで機械学習において長年の課題だった。 オープンドメインテキスト分類のための新しい連続学習アーキテクチャDRILLを紹介する。
  論文  参考訳（メタデータ） (2021-05-18T11:36:37Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
  知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。 本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。 提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
  論文  参考訳（メタデータ） (2020-04-29T10:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。