論文の概要: Training Zero-Shot Generalizable End-to-End Task-Oriented Dialog System Without Turn-level Dialog Annotations
- arxiv url: http://arxiv.org/abs/2407.15055v2
- Date: Mon, 4 Nov 2024 16:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 19:27:32.130494
- Title: Training Zero-Shot Generalizable End-to-End Task-Oriented Dialog System Without Turn-level Dialog Annotations
- Title（参考訳）: ターンレベルダイアログアノテーションのないゼロショット一般化型タスク指向ダイアログシステムの訓練
- Authors: Adib Mosharrof, A. B. Siddique,
- Abstract要約: この作業はマルチタスク命令の微調整を用いて、より効率的でスケーラブルなタスク指向対話システムを構築する。
提案手法は,アノテートされたデータに基づいて訓練された最先端モデルと,市販のChatGPTモデルから10億のパラメータを比較検討する。
- 参考スコア（独自算出の注目度）: 2.757798192967912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task-oriented dialogue (TOD) systems enable users to achieve their goals through natural language interactions. Traditionally, these systems have relied on turn-level manually annotated metadata, such as dialogue states and policy annotations, which are expensive, time-consuming, and often inconsistent or error-prone. This dependence limits the potential to leverage vast amounts of readily available conversational data for training TOD systems. Additionally, a critical challenge in TOD system design is determining when and how to access and integrate information from external sources. Current approaches typically expect this information to be provided alongside the dialogue context, rather than learning to identify and retrieve it autonomously. While pre-trained large language models (LLMs) have been used to develop TOD systems, their potential to train such systems without laborious annotations remains largely unexplored. This work employs multi-task instruction fine-tuning to create more efficient and scalable TOD systems that can effectively leverage natural language conversational data without manual annotations, while autonomously managing external information retrieval. Our extensive experimental evaluations, using three diverse TOD datasets and three LLMs of varying sizes, demonstrate that our approach can generalize to new, unseen domains. Notably, our approach outperforms both state-of-the-art models trained on annotated data and billion-scale parameter off-the-shelf ChatGPT models.
- Abstract（参考訳）: タスク指向対話(TOD)システムは、自然言語による対話を通じてユーザーが目標を達成することを可能にする。
伝統的にこれらのシステムは、対話状態やポリシーアノテーションなど、ターンレベルの注釈付きメタデータを頼りにしてきた。
この依存は、TODシステムのトレーニングに利用可能な大量の会話データを活用する可能性を制限する。
加えて、TODシステム設計における重要な課題は、外部ソースからの情報をいつ、どのようにアクセスし統合するかを決定することである。
現在のアプローチでは、この情報は、自律的に識別し、取得することを学ぶのではなく、対話コンテキストと共に提供されることが典型的に期待されている。
事前訓練された大規模言語モデル (LLM) はTODシステムの開発に使われてきたが、そのようなシステムに対して、厳密なアノテーションを使わずに訓練する可能性はほとんど明らかにされていない。
この作業はマルチタスク命令の微調整を用いて、手動のアノテーションなしで自然言語の会話データを効果的に活用し、外部情報検索を自律的に管理する、より効率的でスケーラブルなTODシステムを構築する。
3つの多様なTODデータセットと3つの異なる大きさのLCMを用いて、大規模な実験的評価を行い、我々のアプローチが新しい未知の領域に一般化できることを実証した。
特に,本手法は,アノテートデータに基づいてトレーニングした最先端モデルと,市販のChatGPTモデルから10億のパラメータを比較検討した。
関連論文リスト
- TransferTOD: A Generalizable Chinese Multi-Domain Task-Oriented Dialogue System with Transfer Capabilities [46.91749457402889]
タスク指向対話(TOD)システムは、情報収集を含むタスク指向の会話を効率的に処理することを目的としている。
情報収集にTODを正確に、効率的に効果的に活用する方法は、常に重要かつ困難な課題であった。
近年,Large Language Models (LLM) は対話,命令生成,推論において優れていることが実証されている。
論文 参考訳（メタデータ） (2024-07-31T15:38:15Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳（メタデータ） (2024-01-04T11:27:48Z) - A Systematic Study of Performance Disparities in Multilingual
Task-Oriented Dialogue Systems [68.76102493999134]
マルチリンガルなタスク指向対話システム間に存在するタスクパフォーマンスの相違を,実証的に分析し,分析する。
我々は現在のToDシステムにおける適応と本質的バイアスの存在を証明した。
本稿では,新しい言語に対するToDデータ収集とシステム開発へのアプローチについて,実践的なヒントを提供する。
論文 参考訳（メタデータ） (2023-10-19T16:41:44Z) - InstructTODS: Large Language Models for End-to-End Task-Oriented
Dialogue Systems [60.53276524369498]
大規模言語モデル(LLM)は自然言語処理(NLP)における多様なタスクに使用されている。
InstructTODSは、ゼロショットのタスク指向対話システムのための新しいフレームワークである。
InstructTODSは、ユーザの意図を動的クエリにシームレスに翻訳するプロキシの信念状態を生成する。
論文 参考訳（メタデータ） (2023-10-13T06:36:26Z) - Knowledge-Retrieval Task-Oriented Dialog Systems with Semi-Supervision [22.249113574918034]
既存のタスク指向ダイアログ(TOD)システムは、スロットと値の観点からダイアログの状態を追跡し、データベースに問い合わせて応答を生成する。
現実のアプリケーションでは,ユーザの発話がノイズが多いため,対話状態を正確に追跡し,関連する知識を正しく確保することは困難である。
そこで本研究では,TODシステムにおける知識選択を高速化する検索手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T16:29:20Z) - DiSTRICT: Dialogue State Tracking with Retriever Driven In-Context
Tuning [7.5700317050237365]
対話状態追跡(DST)のための一般化可能なインコンテキストチューニング手法であるDiSTRICTを提案する。
DSTRICTは、手作りのテンプレートを使わずにモデルを微調整するために、与えられた対話のための非常に関連性の高いトレーニング例を検索する。
MultiWOZベンチマークデータセットによる実験では、DiSTRICTは、さまざまなゼロショットおよび少数ショット設定において、既存のアプローチよりも優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-12-06T09:40:15Z) - Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。
CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
論文 参考訳（メタデータ） (2022-01-31T18:11:21Z) - Prompt Learning for Few-Shot Dialogue State Tracking [75.50701890035154]
本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。
本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。
実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
論文 参考訳（メタデータ） (2022-01-15T07:37:33Z) - GlobalWoZ: Globalizing MultiWoZ to Develop Multilingual Task-Oriented
Dialogue Systems [66.92182084456809]
本稿では,英語のToDデータセットから大規模多言語ToDデータセットであるGlobalWoZを生成する新しいデータキュレーション手法を提案する。
本手法は,対話テンプレートの翻訳と,対象国におけるローカルエンティティの充填に基づく。
我々はデータセットと強力なベースラインのセットを公開し、実際のユースケースにおける多言語ToDシステムの学習を奨励します。
論文 参考訳（メタデータ） (2021-10-14T19:33:04Z) - Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。
本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。
対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
論文 参考訳（メタデータ） (2020-12-30T18:18:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。