論文の概要: A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding

• arxiv url: http://arxiv.org/abs/2304.04256v1
• Date: Sun, 9 Apr 2023 15:28:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:41:52.182550
• Title: A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding
• Title（参考訳）: ゼロショット対話理解のためのChatGPTの予備評価
• Authors: Wenbo Pan, Qiguang Chen, Xiao Xu, Wanxiang Che, Libo Qin
• Abstract要約: ゼロショット対話理解は、ユーザーのニーズをトレーニングデータなしで追跡できるようにすることを目的としている。 本研究では,ゼロショット対話理解タスクにおけるChatGPTの理解能力について検討する。
• 参考スコア（独自算出の注目度）: 55.37338324658501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot dialogue understanding aims to enable dialogue to track the user's needs without any training data, which has gained increasing attention. In this work, we investigate the understanding ability of ChatGPT for zero-shot dialogue understanding tasks including spoken language understanding (SLU) and dialogue state tracking (DST). Experimental results on four popular benchmarks reveal the great potential of ChatGPT for zero-shot dialogue understanding. In addition, extensive analysis shows that ChatGPT benefits from the multi-turn interactive prompt in the DST task but struggles to perform slot filling for SLU. Finally, we summarize several unexpected behaviors of ChatGPT in dialogue understanding tasks, hoping to provide some insights for future research on building zero-shot dialogue understanding systems with Large Language Models (LLMs).
• Abstract（参考訳）: ゼロショット対話理解は,ユーザのニーズをトレーニングデータなしで追跡することを目的としている。 本研究では,音声言語理解(SLU)や対話状態追跡(DST)を含むゼロショット対話理解タスクにおけるChatGPTの理解能力について検討する。 4つの人気のあるベンチマークの実験結果から,ゼロショット対話理解のためのChatGPTの可能性が示された。 さらに、広範囲な分析により、チャットgptはdstタスクにおけるマルチターンインタラクティブプロンプトの恩恵を受けるが、sluのスロット充填は困難であることが示された。 最後に,対話理解タスクにおけるChatGPTの予期せぬ動作を要約し,Large Language Models (LLMs) を用いたゼロショット対話理解システムの構築に向けた今後の研究への洞察を期待する。

関連論文リスト

• OmniDialog: An Omnipotent Pre-training Model for Task-Oriented Dialogue System [43.92593448255296]
  我々はOmnipotent Dialogue pre-training model(OmniDialog)を提案する。 3つの対話タスクをマルチタスク学習によってモノリシックなフレームワークに統合し、タスク間通信を促進する。 対話の要約、エンドツーエンドの対話モデリング、対話状態追跡、意図分類の4つのタスクでその性能を評価する。
  論文  参考訳（メタデータ） (2023-12-28T07:20:49Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Uncovering the Potential of ChatGPT for Discourse Analysis in Dialogue: An Empirical Study [51.079100495163736]
  本稿では、トピックセグメンテーションと談話解析という2つの談話分析タスクにおけるChatGPTの性能を体系的に検証する。 ChatGPTは、一般的なドメイン間会話においてトピック構造を特定する能力を示すが、特定のドメイン間会話ではかなり困難である。 我々のより深い調査は、ChatGPTは人間のアノテーションよりも合理的なトピック構造を提供するが、階層的なレトリック構造を線形に解析することしかできないことを示唆している。
  論文  参考訳（メタデータ） (2023-05-15T07:14:41Z)
• SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation [55.82577086422923]
  文書地上対話の助けを借りて,対話のセグメンテーションポイントを実現可能な定義を提供する。 我々は,9,478の対話を含むSuperDialsegと呼ばれる大規模教師付きデータセットをリリースする。 また、対話セグメンテーションタスクの5つのカテゴリにまたがる18のモデルを含むベンチマークも提供する。
  論文  参考訳（メタデータ） (2023-05-15T06:08:01Z)
• ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal, Causal, and Discourse Relations [52.26802326949116]
  対話型大規模言語モデルChatGPTの性能を,文間関係に基づいて定量的に評価する。 ChatGPTは因果関係の検出と推論において極めて優れた能力を示す。 既存の明示的な談話接続物との談話関係の大多数を特定できるが、暗黙的な談話関係は依然として恐ろしい課題である。
  論文  参考訳（メタデータ） (2023-04-28T13:14:36Z)
• Is ChatGPT Equipped with Emotional Dialogue Capabilities? [14.419588510681773]
  本研究は、複数の下流課題における一連の実験を通して、感情的対話理解と生成におけるChatGPTの性能を評価する。 以上の結果から,ChatGPTの感情的対話理解能力は,教師付きモデルにはまだ及ばない可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-19T11:42:40Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。