論文の概要: Continual Prompt Tuning for Dialog State Tracking

• arxiv url: http://arxiv.org/abs/2203.06654v1
• Date: Sun, 13 Mar 2022 13:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 14:50:20.384654
• Title: Continual Prompt Tuning for Dialog State Tracking
• Title（参考訳）: 対話状態追跡のための連続的プロンプトチューニング
• Authors: Qi Zhu, Bing Li, Fei Mi, Xiaoyan Zhu, Minlie Huang
• Abstract要約: 望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
• 参考スコア（独自算出の注目度）: 58.66412648276873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A desirable dialog system should be able to continually learn new skills without forgetting old ones, and thereby adapt to new domains or tasks in its life cycle. However, continually training a model often leads to a well-known catastrophic forgetting issue. In this paper, we present Continual Prompt Tuning, a parameter-efficient framework that not only avoids forgetting but also enables knowledge transfer between tasks. To avoid forgetting, we only learn and store a few prompt tokens' embeddings for each task while freezing the backbone pre-trained model. To achieve bi-directional knowledge transfer among tasks, we propose several techniques (continual prompt initialization, query fusion, and memory replay) to transfer knowledge from preceding tasks and a memory-guided technique to transfer knowledge from subsequent tasks. Extensive experiments demonstrate the effectiveness and efficiency of our proposed method on continual learning for dialog state tracking, compared with state-of-the-art baselines.
• Abstract（参考訳）: 望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学び、それによってライフサイクルにおける新しいドメインやタスクに適応できるべきである。 しかしながら、モデルを継続的にトレーニングすることは、よく知られた破滅的な忘れる問題につながる。 本稿では,タスク間の知識伝達を可能にするパラメータ効率の高いフレームワークであるcontinual prompt tuningを提案する。 忘れることを避けるために、バックボーン事前訓練されたモデルを凍結しながら、各タスクに対していくつかのプロンプトトークンの埋め込みを学習し、保存する。 本稿では,タスク間の双方向の知識伝達を実現するために,先行タスクから知識を伝達する複数の手法(連続的初期化,クエリ融合,メモリリプレイ)と,その後のタスクから知識を伝達するメモリ誘導技術を提案する。 ダイアログ状態追跡のための連続学習における提案手法の有効性と効率を,最先端のベースラインと比較して検証した。

関連論文リスト

• TaSL: Continual Dialog State Tracking via Task Skill Localization and Consolidation [14.533890076297393]
  タスクスキルのローカライゼーションと統合のための新しいフレームワークであるTaSLを提案する。 TaSLは、タスク特化領域とタスク共有領域をピンポイントする、新しいグループワイド技術を使用している。 結果として、TaSLは以前の知識の保存と新しいタスクの達成のバランスをとることになる。
  論文  参考訳（メタデータ） (2024-08-19T10:01:28Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer [39.99577526417276]
  継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。 既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T23:55:51Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Continual Learning in Task-Oriented Dialogue Systems [49.35627673523519]
  タスク指向対話システムにおける継続的な学習は、システム全体のリトレーニングのコストを伴わずに、時間を通じて新しいドメインや機能を追加できる。 37ドメインのタスク指向対話システムを4つの設定で継続的に学習するための継続的学習ベンチマークを提案する。
  論文  参考訳（メタデータ） (2020-12-31T08:44:25Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。