論文の概要: SQATIN: Supervised Instruction Tuning Meets Question Answering for
Improved Dialogue NLU
- arxiv url: http://arxiv.org/abs/2311.09502v1
- Date: Thu, 16 Nov 2023 01:57:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:04:45.057807
- Title: SQATIN: Supervised Instruction Tuning Meets Question Answering for
Improved Dialogue NLU
- Title(参考訳): SQATIN: 改善された対話型NLUに対する質問回答
- Authors: Evgeniia Razumovskaia, Goran Glava\v{s}, Anna Korhonen, Ivan Vuli\'c
- Abstract要約: SQATIN は (i) 命令チューニングと (ii) 質問応答に基づく ID および VE タスクの定式化に基づく対話型 NLU のための新しいフレームワークである。
SQATINは対話型NLUの新たな状態を設定し、現在のモデルの性能を大幅に上回っている。
- 参考スコア(独自算出の注目度): 75.73016795321936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task-oriented dialogue (ToD) systems help users execute well-defined tasks
across a variety of domains (e.g., $\textit{flight booking}$ or $\textit{food
ordering}$), with their Natural Language Understanding (NLU) components being
dedicated to the analysis of user utterances, predicting users' intents
($\textit{Intent Detection}$, ID) and extracting values for informational slots
($\textit{Value Extraction}$, VE). In most domains, labelled NLU data is
scarce, making sample-efficient learning -- enabled with effective transfer
paradigms -- paramount. In this work, we introduce SQATIN, a new framework for
dialog NLU based on (i) instruction tuning and (ii) question-answering-based
formulation of ID and VE tasks. According to the evaluation on established NLU
benchmarks, SQATIN sets the new state of the art in dialogue NLU, substantially
surpassing the performance of current models based on standard fine-tuning
objectives in both in-domain training and cross-domain transfer. SQATIN yields
particularly large performance gains in cross-domain transfer, owing to the
fact that our QA-based instruction tuning leverages similarities between
natural language descriptions of classes (i.e., slots and intents) across
domains.
- Abstract(参考訳): タスク指向対話(tod)システムは、ユーザがさまざまなドメイン(例えば、$\textit{flight booking}$または$\textit{food ordering}$)で明確に定義されたタスクを実行するのを手助けし、自然言語理解(nlu)コンポーネントはユーザの発話の分析に特化しており、ユーザの意図($\textit{intent detection}$, id)を予測し、情報スロット($\textit{value extraction}$, ve)の値を抽出する。
ほとんどのドメインでは、ラベル付きNLUデータが不足しているため、サンプル効率のよい学習 -- 効果的な転送パラダイムの実現 -- が最重要である。
本研究では,対話型NLUのための新しいフレームワークであるSQATINを紹介する。
(i)調律及び
(II)IDとVEタスクの質問応答に基づく定式化。
確立されたNLUベンチマークの評価によると、SQATINは、ドメイン内トレーニングとクロスドメイン転送の両方において、標準の微調整目標に基づいて、現在のモデルの性能を大幅に上回る、対話型NLUにおける技術の新たな状態を設定する。
SQATINは、ドメイン間のクラス(スロットとインテント)の自然言語記述の類似性を活用するため、ドメイン間転送において特に大きなパフォーマンス向上をもたらす。
関連論文リスト
- Towards Unified Token Learning for Vision-Language Tracking [65.96561538356315]
本稿では,VL追跡をトークン生成タスクとして用いた「textbfMMTrack」という,視覚言語(VL)追跡パイプラインを提案する。
提案フレームワークは,言語記述と境界ボックスを離散トークン列にシリアライズする。
この新しい設計パラダイムでは、全てのトークンクエリが望ましいターゲットを認識し、ターゲットの空間座標を直接予測するために必要となる。
論文 参考訳(メタデータ) (2023-08-27T13:17:34Z) - SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence
Understanding [103.34092301324425]
大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。
本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
論文 参考訳(メタデータ) (2023-08-21T07:31:19Z) - Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。
実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。
我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
論文 参考訳(メタデータ) (2023-03-06T06:04:46Z) - SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding
Tasks [88.4408774253634]
音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。
SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。
最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
論文 参考訳(メタデータ) (2022-12-20T18:39:59Z) - NLU++: A Multi-Label, Slot-Rich, Generalisable Dataset for Natural
Language Understanding in Task-Oriented Dialogue [53.54788957697192]
NLU++はタスク指向対話(ToD)システムにおける自然言語理解(NLU)のための新しいデータセットである。
NLU++は2つのドメイン(BANKINGとHOTELS)に分割されており、現在一般的に使用されているNLUデータセットよりもいくつかの重要な改善が行われている。
論文 参考訳(メタデータ) (2022-04-27T16:00:23Z) - On the Use of External Data for Spoken Named Entity Recognition [40.93448412171246]
近年の自己教師型音声表現の進歩により,ラベル付きデータに制限のある学習モデルを考えることが可能になった。
自己学習、知識蒸留、トランスファーラーニングなど、さまざまなアプローチを採用し、エンドツーエンドモデルとパイプラインアプローチの両方に適用性を検討する。
論文 参考訳(メタデータ) (2021-12-14T18:49:26Z) - Zero-Shot Dialogue State Tracking via Cross-Task Transfer [69.70718906395182]
我々は,ゼロショット対話状態追跡タスクに対して,一般質問応答(QA)コーパスからテキストクロスタスク知識を転送することを提案する。
具体的には,抽出QAと複数選択QAをシームレスに組み合わせた転送可能な生成QAモデルであるTransferQAを提案する。
さらに,否定的質問サンプリングと文脈トランケーションという,解決不可能な質問を構築するための2つの効果的な方法を紹介した。
論文 参考訳(メタデータ) (2021-09-10T03:57:56Z) - Automatic Discovery of Novel Intents & Domains from Text Utterances [18.39942131996558]
本稿では,ラベルのない大量のデータから新しいドメインや意図を自動的に発見する新しいフレームワークADVINを提案する。
ADVINは3つのベンチマークデータセットのベースラインと、商用音声処理エージェントからの実際のユーザ発話を大きく上回る。
論文 参考訳(メタデータ) (2020-05-22T00:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。