論文の概要: UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking
- arxiv url: http://arxiv.org/abs/2310.10492v1
- Date: Mon, 16 Oct 2023 15:16:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 13:37:59.657032
- Title: UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking
- Title(参考訳): UNO-DST:ゼロショット対話状態追跡におけるアンラベリングデータの活用
- Authors: Chuang Li, Yan Zhang, Min-Yen Kan, Haizhou Li
- Abstract要約: 従来のゼロショット対話状態追跡(DST)手法は、転送学習のみを適用するが、ターゲット領域の非競合データを無視する。
我々は、ゼロショットDSTを、ジョイントおよび自己学習手法を用いて、そのような非ラベルデータを活用することで、少数ショットDSTに変換する。
- 参考スコア(独自算出の注目度): 59.5517172952418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous zero-shot dialogue state tracking (DST) methods only apply transfer
learning, but ignore unlabelled data in the target domain. We transform
zero-shot DST into few-shot DST by utilising such unlabelled data via joint and
self-training methods. Our method incorporates auxiliary tasks that generate
slot types as inverse prompts for main tasks, creating slot values during joint
training. Cycle consistency between these two tasks enables the generation and
selection of quality samples in unknown target domains for subsequent
fine-tuning. This approach also facilitates automatic label creation, thereby
optimizing the training and fine-tuning of DST models. We demonstrate this
method's effectiveness on large language models in zero-shot scenarios,
improving average joint goal accuracy by $8\%$ across all domains in MultiWOZ.
- Abstract(参考訳): 従来のゼロショット対話状態追跡(DST)手法は、転送学習のみを適用するが、ターゲット領域の非競合データを無視する。
我々は,ゼロショットDSTを,ジョイントおよび自己学習手法による非ラベルデータを利用して,少数ショットDSTに変換する。
本手法は,主タスクの逆プロンプトとしてスロットタイプを生成する補助タスクを組み込み,共同学習中にスロット値を生成する。
これら2つのタスク間のサイクル一貫性により、後続の微調整のための未知のターゲットドメインにおける品質サンプルの生成と選択が可能になる。
このアプローチはまた、自動ラベル作成を容易にし、DSTモデルのトレーニングと微調整を最適化する。
ゼロショットシナリオにおける大規模言語モデルに対する本手法の有効性を実証し,MultiWOZの全ドメインに対して平均共同目標精度を8\%向上させる。
関連論文リスト
- SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State
Tracking [12.300308969720916]
ダイアログ状態追跡(DST)研究の有望な進路として,Large Language Models (LLMs) を用いたインコンテキスト学習が登場している。
LLM を利用した DST に適したデータ生成フレームワークである DST を提案する。
提案手法では,DSTアノテーションを用いた自然な,一貫性のある,自由な対話を合成するために,対話スキーマと手作りの対話テンプレートのみを必要とする。
論文 参考訳(メタデータ) (2024-02-03T22:49:00Z) - CSS: Combining Self-training and Self-supervised Learning for Few-shot
Dialogue State Tracking [36.18207750352937]
DST(Few-shot dialogue state tracking)は、ラベル付きデータでDSTモデルを訓練する現実的な問題である。
自己学習と自己教師型学習を組み合わせたDSTフレームワークCSSを提案する。
また,MultiWOZデータセットを用いた実験結果から,提案したCSSはいくつかのシナリオで競合性能を達成できた。
論文 参考訳(メタデータ) (2022-10-11T04:55:16Z) - Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。
提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
論文 参考訳(メタデータ) (2022-10-04T15:20:01Z) - Zero-Shot Dialogue State Tracking via Cross-Task Transfer [69.70718906395182]
我々は,ゼロショット対話状態追跡タスクに対して,一般質問応答(QA)コーパスからテキストクロスタスク知識を転送することを提案する。
具体的には,抽出QAと複数選択QAをシームレスに組み合わせた転送可能な生成QAモデルであるTransferQAを提案する。
さらに,否定的質問サンプリングと文脈トランケーションという,解決不可能な質問を構築するための2つの効果的な方法を紹介した。
論文 参考訳(メタデータ) (2021-09-10T03:57:56Z) - Cycle Self-Training for Domain Adaptation [85.14659717421533]
Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。
CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。
実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
論文 参考訳(メタデータ) (2021-03-05T10:04:25Z) - Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。
本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。
提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
論文 参考訳(メタデータ) (2020-10-26T21:57:42Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳(メタデータ) (2020-10-07T22:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。