論文の概要: Towards LLM-driven Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2310.14970v1
• Date: Mon, 23 Oct 2023 14:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:37:04.079664
• Title: Towards LLM-driven Dialogue State Tracking
• Title（参考訳）: LLMによる対話状態追跡に向けて
• Authors: Yujie Feng, Zexin Lu, Bo Liu, Liming Zhan, Xiao-Ming Wu
• Abstract要約: GPT3やChatGPTのような大規模言語モデル(LLM)は、様々なアプリケーションで有効性を評価することにかなりの関心を集めている。 LDST(LDST)は,より小型でオープンソースの基盤モデルに基づくLLM駆動の対話状態追跡フレームワークである。 LDSTは,従来のSOTA法と比較して,ゼロショットと少数ショットの両方で顕著な性能向上を示した。
• 参考スコア（独自算出の注目度）: 13.679946384741008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialogue State Tracking (DST) is of paramount importance in ensuring accurate tracking of user goals and system actions within task-oriented dialogue systems. The emergence of large language models (LLMs) such as GPT3 and ChatGPT has sparked considerable interest in assessing their efficacy across diverse applications. In this study, we conduct an initial examination of ChatGPT's capabilities in DST. Our evaluation uncovers the exceptional performance of ChatGPT in this task, offering valuable insights to researchers regarding its capabilities and providing useful directions for designing and enhancing dialogue systems. Despite its impressive performance, ChatGPT has significant limitations including its closed-source nature, request restrictions, raising data privacy concerns, and lacking local deployment capabilities. To address these concerns, we present LDST, an LLM-driven DST framework based on smaller, open-source foundation models. By utilizing a novel domain-slot instruction tuning method, LDST achieves performance on par with ChatGPT. Comprehensive evaluations across three distinct experimental settings, we find that LDST exhibits remarkable performance improvements in both zero-shot and few-shot setting compared to previous SOTA methods. The source code is provided for reproducibility.
• Abstract（参考訳）: 対話状態追跡(DST)は、タスク指向対話システムにおけるユーザ目標とシステムアクションの正確な追跡を保証する上で、最重要事項である。 GPT3やChatGPTといった大規模言語モデル(LLM)の出現は、様々なアプリケーションで有効性を評価することに大きな関心を惹き付けている。 本研究では,DSTにおけるChatGPTの機能について検討した。 この課題におけるChatGPTの優れた性能を明らかにし,その能力について研究者に貴重な洞察を提供し,対話システムの設計・拡張に有用な方向性を提供する。 優れたパフォーマンスにもかかわらず、ChatGPTには、クローズドソースの性質、要求制限、データプライバシの懸念の高まり、ローカルデプロイメント機能の欠如など、大きな制限がある。 これらの問題に対処するため,LDSTは,より小型でオープンソースの基盤モデルに基づくLDSTフレームワークである。 LDSTは,新しいドメインスロット命令チューニング手法を用いることで,ChatGPTと同等の性能を実現する。 その結果, LDSTは従来のSOTA法と比較して, ゼロショット法と少数ショット法の両方で顕著な性能向上を示した。 ソースコードは再現性のために提供される。

関連論文リスト

• Large Language Models as Zero-shot Dialogue State Tracker through Function Calling [42.00097476584174]
  本稿では,大言語モデル(LLM)を用いた対話状態追跡の関数呼び出しによる解法を提案する。 この方法はゼロショットDSTを改善し、広範囲のデータ収集やモデルチューニングなしに多様なドメインに適応できる。 提案手法は,オープン・ソースとプロプライエタリ・LLMの両面において,極めて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-02-16T06:13:18Z)
• Chatbots Are Not Reliable Text Annotators [0.0]
  ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。 オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
  論文  参考訳（メタデータ） (2023-11-09T22:28:14Z)
• Large Language Models Meet Open-World Intent Discovery and Recognition: An Evaluation of ChatGPT [37.27411474856601]
  Out-of-domain(OOD)インテントディスカバリと一般化インテントディスカバリ(GID)は、オープンワールドインテントセットにクローズドインテントを拡張することを目的としている。 従来の手法は微調整の識別モデルによってそれらに対処する。 ChatGPTはゼロショット設定で一貫したアドバンテージを示すが、細調整されたモデルに比べて依然として不利である。
  論文  参考訳（メタデータ） (2023-10-16T08:34:44Z)
• Evaluating ChatGPT as a Recommender System: A Rigorous Approach [12.458752059072706]
  本稿では,ChatGPTのRSとしての能力とプロセス後ChatGPTレコメンデーションを評価するためのロバストな評価パイプラインを提案する。 モデルの機能は,トップNレコメンデーション,コールドスタートレコメンデーション,リコメンデーションリストの再ランクの3つの設定で分析する。
  論文  参考訳（メタデータ） (2023-09-07T10:13:09Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)
• Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
  ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。 そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。 NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
  論文  参考訳（メタデータ） (2023-06-16T09:40:05Z)
• A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets [19.521390684403293]
  本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。 具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
  論文  参考訳（メタデータ） (2023-05-29T12:37:21Z)
• Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
  臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。 本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。 提案手法により,下流タスクの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-03-08T03:56:31Z)
• Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
  NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。 実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。 我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
  論文  参考訳（メタデータ） (2023-03-07T16:57:20Z)
• A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
  タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:27:59Z)
• Prompt Learning for Few-Shot Dialogue State Tracking [75.50701890035154]
  本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。 本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。 実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-15T07:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。