論文の概要: Prompt Learning for Few-Shot Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2201.05780v1
• Date: Sat, 15 Jan 2022 07:37:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 15:05:36.265367
• Title: Prompt Learning for Few-Shot Dialogue State Tracking
• Title（参考訳）: 対話状態追跡のためのプロンプト学習
• Authors: Yuting Yang, Wenqiang Lei, Juan Cao, Jintao Li and Tat-Seng Chua
• Abstract要約: 本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。 本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。 実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 75.50701890035154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collecting dialogue state labels, slots and values, for learning dialogue state tracking (DST) models can be costly, especially with the wide application of dialogue systems in new-rising domains. In this paper, we focus on how to learn a DST model efficiently with limited labeled data. We design a prompt learning framework for few-shot DST, which consists of two main components: value-based prompt and inverse prompt mechanism. This framework aims to utilize the language understanding and generation ability of pre-trained language models (PLM). First, we design value-based prompt functions to probe the DST-related knowledge from PLM, which do not rely on the known ontology of slots. Further, an inverse prompt mechanism is utilized to self-check the "prompted" knowledge and help the PLM understand the essence of DST task further. Experiments show that our model can generate unseen slots and outperforms existing state-of-the-art few-shot methods. It indicates that DST-related knowledge can be probed from PLM and utilized to address low-resource DST efficiently with the help of prompt learning.
• Abstract（参考訳）: 対話状態追跡(dst)モデルを学ぶための対話状態ラベル、スロット、値の収集は、特に新しいリスニング領域における対話システムの幅広い適用において、コストがかかる。 本稿では,限定ラベルデータを用いてdstモデルを効率的に学習する方法に着目する。 本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。 このフレームワークは、事前学習された言語モデル(PLM)の言語理解と生成能力を活用することを目的としている。 まず、スロットの既知のオントロジーに依存しないPLMからDST関連の知識を探索するための値ベースのプロンプト関数を設計する。 さらに、逆プロンプト機構を用いて「急速」知識を自己チェックし、PLMがDSTタスクの本質をさらに理解できるようにする。 実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。 PLMからDST関連の知識を探索し,高速学習の助けを借りて,低リソースDSTに効率的に対処できることが示唆された。

関連論文リスト

• Training Zero-Shot Generalizable End-to-End Task-Oriented Dialog System Without Turn-level Dialog Annotations [2.757798192967912]
  この作業はマルチタスク命令の微調整を用いて、より効率的でスケーラブルなタスク指向対話システムを構築する。 提案手法は,アノテートされたデータに基づいて訓練された最先端モデルと,市販のChatGPTモデルから10億のパラメータを比較検討する。
  論文  参考訳（メタデータ） (2024-07-21T04:52:38Z)
• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)
• PromptAttack: Probing Dialogue State Trackers with Adversarial Prompts [25.467840115593784]
  現代の会話システムの主要なコンポーネントは、対話状態追跡器(DST)である。 そこで本稿では,DSTモデルを探索する効果的な逆例を自動生成する,プロンプトベースの学習手法を提案する。 生成した相手のサンプルが、相手のトレーニングを通じてDSTをどの程度強化できるかを示す。
  論文  参考訳（メタデータ） (2023-06-07T15:41:40Z)
• KILDST: Effective Knowledge-Integrated Learning for Dialogue State Tracking using Gazetteer and Speaker Information [3.342637296393915]
  対話状態追跡(DST)は、対話システムにおける中核的な研究であり、多くの注目を集めている。 ユーザ間の対話に対処できる新たな問題を,ユーザ間の対話から情報を抽出し,推奨する対話型AIへのステップとして定義する必要がある。 イベントのスケジューリングに関するユーザ間の対話(DST-S)からの新しいタスクDSTを導入する。 DST-Sタスクは、ユーザ間の対話における対話を理解し、追跡し、誰がスケジュールを提案し、誰が提案されたスケジュールに同意したかを理解する必要があるため、はるかに難しい。
  論文  参考訳（メタデータ） (2023-01-18T07:11:56Z)
• A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems [10.024834304960846]
  タスク指向対話システムにおける対話的状態追跡問題に取り組む。 この問題に対する最近のアプローチでは、Transformerベースのモデルが大きな成果を上げている。 対話的信念状態追跡のためのプロンプトベース数ショット学習について検討する。
  論文  参考訳（メタデータ） (2022-04-18T05:29:54Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
  既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。 本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。 提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-26T21:57:42Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。