論文の概要: SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State Tracking

• arxiv url: http://arxiv.org/abs/2402.02285v1
• Date: Sat, 3 Feb 2024 22:49:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:49:24.342170
• Title: SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State Tracking
• Title（参考訳）: SynthDST:Synthetic Dataは、簡単な対話状態トラッキングに必要なもの
• Authors: Atharva Kulkarni, Bo-Hsiang Tseng, Joel Ruben Antony Moniz, Dhivya Piraviperumal, Hong Yu, Shruti Bhargava
• Abstract要約: ダイアログ状態追跡(DST)研究の有望な進路として,Large Language Models (LLMs) を用いたインコンテキスト学習が登場している。 LLM を利用した DST に適したデータ生成フレームワークである DST を提案する。 提案手法では,DSTアノテーションを用いた自然な,一貫性のある,自由な対話を合成するために,対話スキーマと手作りの対話テンプレートのみを必要とする。
• 参考スコア（独自算出の注目度）: 12.300308969720916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning with Large Language Models (LLMs) has emerged as a promising avenue of research in Dialog State Tracking (DST). However, the best-performing in-context learning methods involve retrieving and adding similar examples to the prompt, requiring access to labeled training data. Procuring such training data for a wide range of domains and applications is time-consuming, expensive, and, at times, infeasible. While zero-shot learning requires no training data, it significantly lags behind the few-shot setup. Thus, `\textit{Can we efficiently generate synthetic data for any dialogue schema to enable few-shot prompting?}' Addressing this question, we propose \method, a data generation framework tailored for DST, utilizing LLMs. Our approach only requires the dialogue schema and a few hand-crafted dialogue templates to synthesize natural, coherent, and free-flowing dialogues with DST annotations. Few-shot learning using data from {\method} results in $4-5%$ improvement in Joint Goal Accuracy over the zero-shot baseline on MultiWOZ 2.1 and 2.4. Remarkably, our few-shot learning approach recovers nearly $98%$ of the performance compared to the few-shot setup using human-annotated training data. Our synthetic data and code can be accessed at https://github.com/apple/ml-synthdst
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いたインコンテキスト学習は、ダイアログ状態追跡(DST)における将来的な研究の道のりとして登場した。 しかし、最も優れたコンテキスト内学習手法は、ラベル付きトレーニングデータへのアクセスを必要とするプロンプトに類似した例を検索し追加することである。 広範囲のドメインやアプリケーションのトレーニングデータを取得することは、時間がかかり、高価であり、時には実現不可能である。 ゼロショット学習はトレーニングデータを必要としないが、わずかなセットアップでは大幅に遅れている。 これにより、任意の対話スキーマの合成データを効率的に生成して、最小限のプロンプトを可能にすることができるか? LLMを利用してDSTに適したデータ生成フレームワークである‘method.*’を提案する。 本手法では,dstアノテーションを用いた自然・連帯・自由流対話を合成するために,対話スキーマと手作りの対話テンプレートのみを必要とする。 using data from {\method} を使えば、multiwoz 2.1 と 2.4 のゼロショットベースラインよりも、ジョイントゴール精度が4～5%向上する。 注目すべきは、私たちの少数ショット学習アプローチは、人間の注釈付きトレーニングデータを使用した数ショットセットアップと比較して、98%近いパフォーマンスを回復することです。 私たちの合成データとコードはhttps://github.com/apple/ml-synthdstでアクセスできます。

関連論文リスト

• UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking [54.51316566989655]
  従来のゼロショット対話状態追跡(DST)手法は、対象領域における非競合データを無視して、転送学習のみを適用した。 我々は,ゼロショットDSTを,ジョイントおよび自己学習手法による非ラベルデータを利用して,少数ショットDSTに変換する。 ゼロショットシナリオにおける汎用言語モデルに対する本手法の有効性を実証し、MultiWOZの全ドメインで平均的な共同ゴール精度を8%向上する。
  論文  参考訳（メタデータ） (2023-10-16T15:16:16Z)
• Diverse Retrieval-Augmented In-Context Learning for Dialogue State Tracking [3.8073142980733]
  RefPyDSTを提案する。これは対話状態追跡のための文脈内学習に3つの進歩をもたらした技術である。 まず、DSTをPythonプログラミングタスクとして定式化し、Pythonの変数参照として言語コア参照を明示的にモデル化する。 第2に、コンテキスト内学習は文脈の例に大きく依存するため、性能向上のための多様な事例を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-04T03:15:52Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。