論文の概要: Making Task-Oriented Dialogue Datasets More Natural by Synthetically Generating Indirect User Requests

• arxiv url: http://arxiv.org/abs/2406.07794v2
• Date: Sun, 16 Jun 2024 21:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 01:41:06.434003
• Title: Making Task-Oriented Dialogue Datasets More Natural by Synthetically Generating Indirect User Requests
• Title（参考訳）: 間接ユーザ要求の合成によるタスク指向対話データセットのより自然な作成
• Authors: Amogh Mannekote, Jinseok Nam, Ziming Li, Jian Gao, Kristy Elizabeth Boyer, Bonnie J. Dorr,
• Abstract要約: 間接ユーザ要求(IUR)は、ヒューマン・ヒューマン・タスク指向の対話において一般的であり、聞き手からの世界的知識と実践的推論を必要とする。 大きな言語モデル(LLM)はこれらの要求を効果的に処理できるが、仮想アシスタントにデプロイされる小さなモデルはリソースの制約のためにしばしば苦労する。
• 参考スコア（独自算出の注目度）: 6.33281463741573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indirect User Requests (IURs), such as "It's cold in here" instead of "Could you please increase the temperature?" are common in human-human task-oriented dialogue and require world knowledge and pragmatic reasoning from the listener. While large language models (LLMs) can handle these requests effectively, smaller models deployed on virtual assistants often struggle due to resource constraints. Moreover, existing task-oriented dialogue benchmarks lack sufficient examples of complex discourse phenomena such as indirectness. To address this, we propose a set of linguistic criteria along with an LLM-based pipeline for generating realistic IURs to test natural language understanding (NLU) and dialogue state tracking (DST) models before deployment in a new domain. We also release IndirectRequests, a dataset of IURs based on the Schema Guided Dialog (SGD) corpus, as a comparative testbed for evaluating the performance of smaller models in handling indirect requests.
• Abstract（参考訳）: ヒューマン・ヒューマン・タスク指向の対話では,「温度を上げるか?」の代わりに「ここで冷やす」などの間接的ユーザ・リクエスト(IUR)が一般的であり,聞き手からの世界的知識と実践的推論を必要とする。 大きな言語モデル(LLM)はこれらの要求を効果的に処理できるが、仮想アシスタントにデプロイされる小さなモデルはリソースの制約のためにしばしば苦労する。 さらに、既存のタスク指向の対話ベンチマークでは、間接性のような複雑な談話現象の十分な例が欠如している。 そこで本研究では,自然言語理解(NLU)と対話状態追跡(DST)モデルをテストするために,LLMベースのパイプラインとともに言語基準のセットを提案する。 IndirectRequestsは、Schema Guided Dialog(SGD)コーパスに基づくIURのデータセットであり、間接リクエストを処理する際のより小さなモデルの性能を評価するための比較テストベッドである。

関連論文リスト

• Generative Context Distillation [48.91617280112579]
  Generative Context Distillation (GCD) は、ジョイントトレーニングアプローチを採用した軽量なプロンプト内在化手法である。 エージェントベースのアプリケーションシナリオにおいて,このアプローチが複雑なプロンプトを効果的に内部化することを示す。
  論文  参考訳（メタデータ） (2024-11-24T17:32:20Z)
• Interpreting User Requests in the Context of Natural Language Standing Instructions [89.12540932734476]
  我々は17のドメインにまたがる2.4K以上の対話からなる言語とプログラムのデータセットであるNLSIを開発した。 NLSIの鍵となる課題は、ある対話に適用可能なスタンディング命令のサブセットを特定することである。
  論文  参考訳（メタデータ） (2023-11-16T11:19:26Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• DiSTRICT: Dialogue State Tracking with Retriever Driven In-Context Tuning [7.5700317050237365]
  対話状態追跡(DST)のための一般化可能なインコンテキストチューニング手法であるDiSTRICTを提案する。 DSTRICTは、手作りのテンプレートを使わずにモデルを微調整するために、与えられた対話のための非常に関連性の高いトレーニング例を検索する。 MultiWOZベンチマークデータセットによる実験では、DiSTRICTは、さまざまなゼロショットおよび少数ショット設定において、既存のアプローチよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-12-06T09:40:15Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
  FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。 我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。 FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-02-27T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。