論文の概要: Large Language Models Meet Open-World Intent Discovery and Recognition: An Evaluation of ChatGPT

• arxiv url: http://arxiv.org/abs/2310.10176v1
• Date: Mon, 16 Oct 2023 08:34:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 15:38:14.797619
• Title: Large Language Models Meet Open-World Intent Discovery and Recognition: An Evaluation of ChatGPT
• Title（参考訳）: オープンワールドインテント発見と認識を伴う大規模言語モデル:ChatGPTの評価
• Authors: Xiaoshuai Song, Keqing He, Pei Wang, Guanting Dong, Yutao Mou, Jingang Wang, Yunsen Xian, Xunliang Cai, Weiran Xu
• Abstract要約: Out-of-domain(OOD)インテントディスカバリと一般化インテントディスカバリ(GID)は、オープンワールドインテントセットにクローズドインテントを拡張することを目的としている。 従来の手法は微調整の識別モデルによってそれらに対処する。 ChatGPTはゼロショット設定で一貫したアドバンテージを示すが、細調整されたモデルに比べて依然として不利である。
• 参考スコア（独自算出の注目度）: 37.27411474856601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The tasks of out-of-domain (OOD) intent discovery and generalized intent discovery (GID) aim to extend a closed intent classifier to open-world intent sets, which is crucial to task-oriented dialogue (TOD) systems. Previous methods address them by fine-tuning discriminative models. Recently, although some studies have been exploring the application of large language models (LLMs) represented by ChatGPT to various downstream tasks, it is still unclear for the ability of ChatGPT to discover and incrementally extent OOD intents. In this paper, we comprehensively evaluate ChatGPT on OOD intent discovery and GID, and then outline the strengths and weaknesses of ChatGPT. Overall, ChatGPT exhibits consistent advantages under zero-shot settings, but is still at a disadvantage compared to fine-tuned models. More deeply, through a series of analytical experiments, we summarize and discuss the challenges faced by LLMs including clustering, domain-specific understanding, and cross-domain in-context learning scenarios. Finally, we provide empirical guidance for future directions to address these challenges.
• Abstract（参考訳）: out-of-domain intent discovery(ood)とgeneralized intent discovery(gid)のタスクは、クローズドインテント分類器をオープンワールドインテントセットに拡張することを目的としている。 従来の方法は、それらを微調整した判別モデルで扱う。 近年、ChatGPTで表される大規模言語モデル(LLM)を様々な下流タスクに適用する研究が進んでいるが、ChatGPTがOODの意図を発見・拡大する能力がまだ不明である。 本稿では,OOD意図の発見とGIDに関するChatGPTを包括的に評価し,ChatGPTの強みと弱点を概説する。 全体としては、ChatGPTはゼロショット設定で一貫したアドバンテージを示すが、細調整されたモデルに比べて依然として不利である。 より深く、一連の分析実験を通じて、クラスタリング、ドメイン固有理解、クロスドメインインコンテキスト学習シナリオなどllmが直面する課題を要約し、議論する。 最後に,これらの課題に対処するために,今後の方向性について経験的ガイダンスを提供する。

関連論文リスト

• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Chatbots Are Not Reliable Text Annotators [0.0]
  ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。 オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
  論文  参考訳（メタデータ） (2023-11-09T22:28:14Z)
• Towards LLM-driven Dialogue State Tracking [13.679946384741008]
  GPT3やChatGPTのような大規模言語モデル(LLM)は、様々なアプリケーションで有効性を評価することにかなりの関心を集めている。 LDST(LDST)は,より小型でオープンソースの基盤モデルに基づくLLM駆動の対話状態追跡フレームワークである。 LDSTは,従来のSOTA法と比較して,ゼロショットと少数ショットの両方で顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2023-10-23T14:15:28Z)
• ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection [30.13634341221476]
  本稿では,ChatGPTをデータ拡張技術として活用し,オープンな意図検出タスクにおける合成一般化を強化するケーススタディを提案する。 本稿では,ChatGPTが生成した合成データをトレーニングプロセスに組み込むことで,モデル性能を効果的に改善できることを実証する。
  論文  参考訳（メタデータ） (2023-08-25T17:51:23Z)
• A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets [19.521390684403293]
  本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。 具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
  論文  参考訳（メタデータ） (2023-05-29T12:37:21Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding [55.37338324658501]
  ゼロショット対話理解は、ユーザーのニーズをトレーニングデータなしで追跡できるようにすることを目的としている。 本研究では,ゼロショット対話理解タスクにおけるChatGPTの理解能力について検討する。
  論文  参考訳（メタデータ） (2023-04-09T15:28:36Z)
• ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about [15.19126287569545]
  本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。 この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。 調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
  論文  参考訳（メタデータ） (2023-04-06T18:42:47Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective [67.98821225810204]
  本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。 その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。 ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。