論文の概要: Prompt Pool based Class-Incremental Continual Learning for Dialog State Tracking

• arxiv url: http://arxiv.org/abs/2311.10271v1
• Date: Fri, 17 Nov 2023 01:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 15:17:01.665871
• Title: Prompt Pool based Class-Incremental Continual Learning for Dialog State Tracking
• Title（参考訳）: 対話状態追跡のためのプロンプトプール型クラスインクリメンタル連続学習
• Authors: Hong Liu, Yucheng Cai, Yuan Zhou, Zhijian Ou, Yi Huang, Junlan Feng
• Abstract要約: 本稿では,クラスインクリメンタルシナリオにおけるダイアログ状態追跡(DST)の継続的な学習を提案する。 近年,ダイアログシステムでよく機能するプロンプト・チューニング手法に着想を得て,プロンプト・プール法を提案する。 提案手法は,タスクを自動的に識別し,テスト中に適切なプロンプトを選択する。
• 参考スコア（独自算出の注目度）: 27.54040661152389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is crucial for dialog state tracking (DST) in dialog systems, since requirements from users for new functionalities are often encountered. However, most of existing continual learning methods for DST require task identities during testing, which is a severe limit in real-world applications. In this paper, we aim to address continual learning of DST in the class-incremental scenario (namely the task identity is unknown in testing). Inspired by the recently emerging prompt tuning method that performs well on dialog systems, we propose to use the prompt pool method, where we maintain a pool of key-value paired prompts and select prompts from the pool according to the distance between the dialog history and the prompt keys. The proposed method can automatically identify tasks and select appropriate prompts during testing. We conduct experiments on Schema-Guided Dialog dataset (SGD) and another dataset collected from a real-world dialog application. Experiment results show that the prompt pool method achieves much higher joint goal accuracy than the baseline. After combining with a rehearsal buffer, the model performance can be further improved.
• Abstract（参考訳）: 対話システムにおける対話状態追跡(DST)には,新たな機能に対するユーザからの要求が頻繁に発生するため,継続的な学習が不可欠である。 しかし、dstの既存の連続学習方法はテスト中にタスクのアイデンティティを必要とするため、現実のアプリケーションでは厳しい制限となる。 本稿では,DSTの継続学習をクラス増進シナリオ(つまり,テストにおいてタスクの同一性は未知)で行うことを目的とする。 対話システムでよく機能する最近登場したプロンプトチューニング手法に触発されて,提案手法では,対話履歴とプロンプトキーの距離に応じて,キーと値のペアリングされたプロンプトのプールを維持し,プールからプロンプトを選択する。 提案手法はタスクを自動的に識別し,テスト中に適切なプロンプトを選択する。 実世界の対話アプリケーションから収集したスキーマガイドダイアログデータセット(SGD)と他のデータセットについて実験を行った。 実験の結果,プロンプトプール法はベースラインよりもはるかに高いジョイント目標精度が得られることがわかった。 リハーサルバッファと組み合わせることで、さらにモデル性能を向上させることができる。

関連論文リスト

• Learning from Relevant Subgoals in Successful Dialogs using Iterative Training for Task-oriented Dialog Systems [6.226609932118126]
  タスク指向ダイアログ(ToD)システムは、ユーザ目標を達成するために複数のサブゴールを解決しなければならないが、フィードバックはダイアログの最後にのみ取得されることが多い。 ToDシステムを改善するための反復的トレーニング手法であるSuIT(subgoal-aware ITerative Training)を提案する。
  論文  参考訳（メタデータ） (2024-11-25T11:47:31Z)
• Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System [0.0]
  本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。 提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
  論文  参考訳（メタデータ） (2023-05-04T00:17:49Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• KILDST: Effective Knowledge-Integrated Learning for Dialogue State Tracking using Gazetteer and Speaker Information [3.342637296393915]
  対話状態追跡(DST)は、対話システムにおける中核的な研究であり、多くの注目を集めている。 ユーザ間の対話に対処できる新たな問題を,ユーザ間の対話から情報を抽出し,推奨する対話型AIへのステップとして定義する必要がある。 イベントのスケジューリングに関するユーザ間の対話(DST-S)からの新しいタスクDSTを導入する。 DST-Sタスクは、ユーザ間の対話における対話を理解し、追跡し、誰がスケジュールを提案し、誰が提案されたスケジュールに同意したかを理解する必要があるため、はるかに難しい。
  論文  参考訳（メタデータ） (2023-01-18T07:11:56Z)
• CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation [75.60156479374416]
  CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
  論文  参考訳（メタデータ） (2022-11-21T16:21:41Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Prompt Learning for Few-Shot Dialogue State Tracking [75.50701890035154]
  本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。 本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。 実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-15T07:37:33Z)
• Database Search Results Disambiguation for Task-Oriented Dialog Systems [37.36255492341847]
  本稿では,データベース検索結果の曖昧化に着目した新しい課題であるデータベース検索結果(DSR)の曖昧化を提案する。 この課題を研究するために、一般的なタスク指向のダイアログデータセット(MultiWOZとSGD)を拡張し、(a)事前に定義された文法を合成的に生成し、(b)サブセットのための人間のパラフレーズを収集する。 拡張ダイアログデータのトレーニングは、修正されていないターンのパフォーマンスを犠牲にすることなく、曖昧なシナリオに対処するモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2021-12-15T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。