論文の概要: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning

• arxiv url: http://arxiv.org/abs/2205.12673v1
• Date: Wed, 25 May 2022 11:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 01:12:49.236140
• Title: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning
• Title（参考訳）: インストラクションチューニングによる対話におけるゼロとファウショットの一般化の改善
• Authors: Prakhar Gupta, Cathy Jiao, Yi-Ting Yeh, Shikib Mehri, Maxine Eskenazi and Jeffrey P. Bigham
• Abstract要約: InstructDialは対話のための命令チューニングフレームワークである。 48の多様な対話タスクからなるリポジトリからなり、59のオープンな対話データセットから作成されるテキストとテキストの統一フォーマットである。 分析の結果,InstructDialは未知のデータセットや対話評価や意図検出などのタスクに対して良好なゼロショット性能を実現し,数ショット設定でさらに優れたパフォーマンスを実現していることがわかった。
• 参考スコア（独自算出の注目度）: 27.92734269206744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction tuning is an emergent paradigm in NLP wherein natural language instructions are leveraged with language models to induce zero-shot performance on unseen tasks. Instructions have been shown to enable good performance on unseen tasks and datasets in both large and small language models. Dialogue is an especially interesting area to explore instruction tuning because dialogue systems perform multiple kinds of tasks related to language (e.g., natural language understanding and generation, domain-specific interaction), yet instruction tuning has not been systematically explored for dialogue-related tasks. We introduce InstructDial, an instruction tuning framework for dialogue, which consists of a repository of 48 diverse dialogue tasks in a unified text-to-text format created from 59 openly available dialogue datasets. Next, we explore cross-task generalization ability on models tuned on InstructDial across diverse dialogue tasks. Our analysis reveals that InstructDial enables good zero-shot performance on unseen datasets and tasks such as dialogue evaluation and intent detection, and even better performance in a few-shot setting. To ensure that models adhere to instructions, we introduce novel meta-tasks. We establish benchmark zero-shot and few-shot performance of models trained using the proposed framework on multiple dialogue tasks.
• Abstract（参考訳）: インストラクションチューニングはNLPにおける創発的なパラダイムであり、自然言語命令を言語モデルで活用し、目に見えないタスクでゼロショットのパフォーマンスを誘導する。 命令は、大きな言語モデルと小さな言語モデルの両方において、見当たらないタスクとデータセットで優れたパフォーマンスを実現することが示されている。 対話システムは言語に関連する複数の種類のタスク(自然言語理解や生成、ドメイン固有のインタラクションなど)を実行するが、対話に関連したタスクでは命令チューニングが体系的に検討されていないため、対話は特に興味深い分野である。 InstructDialは対話用インストラクション・チューニング・フレームワークであり、59のオープンな対話データセットから作成されるテキスト・テキスト・フォーマットで48の多様な対話タスクのリポジトリから構成される。 次に,多様な対話タスクにまたがる指示に基づくモデル上でのクロスタスク一般化能力について検討する。 分析の結果,InstructDialは未知のデータセットや対話評価や意図検出といったタスク上でのゼロショット性能が向上し,数ショット設定でのパフォーマンスも向上することがわかった。 モデルが指示に従うことを保証するため,新しいメタタスクを導入する。 複数の対話タスクにおいて,提案手法を用いて訓練したモデルのベンチマークゼロショットと少数ショット性能を確立する。

関連論文リスト

• Context-dependent Instruction Tuning for Dialogue Response Generation [61.21790201307179]
  最近の言語モデルは、微調整中にタスク入力に命令を組み込むことで、自然言語計算タスクにおいて顕著なパフォーマンスを実現している。 マルチターン対話のためのコンテキストベース命令微調整フレームワークを提案する。 評価中、モデルは以前の文脈に基づいて指示を生成し、応答を自己導出する。
  論文  参考訳（メタデータ） (2023-11-13T01:25:30Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
  対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。 エージェントは対話とマニュアルの両方からタスクを学習する。 提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
  論文  参考訳（メタデータ） (2022-08-16T08:21:12Z)
• DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
  我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。 この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
  論文  参考訳（メタデータ） (2022-05-25T11:17:16Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue [17.729711165119472]
  本研究では,4つの自然言語理解タスクをカバーする7つのタスク指向対話データセットからなる公開ベンチマークであるDialoGLUE(Dialogue Language Understanding Evaluation)を紹介する。 我々は、いくつかの強力なベースラインモデルをリリースし、バニラBERTアーキテクチャの性能改善と、7つのタスクのうち5つの最先端の結果を示します。 DialoGLUEベンチマーク、ベースライン手法、評価スクリプトを通じて、我々はより汎用的なタスク指向対話モデルを開発する目標に向けて前進したいと考えている。
  論文  参考訳（メタデータ） (2020-09-28T18:36:23Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。