論文の概要: Chatbots in Knowledge-Intensive Contexts: Comparing Intent and LLM-Based
Systems
- arxiv url: http://arxiv.org/abs/2402.04955v1
- Date: Wed, 7 Feb 2024 15:39:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 14:51:47.460133
- Title: Chatbots in Knowledge-Intensive Contexts: Comparing Intent and LLM-Based
Systems
- Title(参考訳): 知識集約的コンテキストにおけるチャットボット:インテントとllmベースのシステムの比較
- Authors: Samuel Kernan Freire, Chaofan Wang, Evangelos Niforatos
- Abstract要約: 認知アシスタント(CA)は、知識集約的なタスクにおいて、ヒューマンワーカーにコンテキスト認識のサポートを提供する。
自然言語処理(NLP)の最近の進歩により、CAはより柔軟で人間的な方法で会話できるようになる。
LLMベースのCAは、インテントベースのシステムよりも優れたユーザエクスペリエンス、タスク完了率、ユーザビリティ、認識パフォーマンスを示した。
- 参考スコア(独自算出の注目度): 9.982795366770086
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Cognitive assistants (CA) are chatbots that provide context-aware support to
human workers in knowledge-intensive tasks. Traditionally, cognitive assistants
respond in specific ways to predefined user intents and conversation patterns.
However, this rigidness does not handle the diversity of natural language well.
Recent advances in natural language processing (NLP), powering large language
models (LLM) such as GPT-4, Llama2, and Gemini, could enable CAs to converse in
a more flexible, human-like manner. However, the additional degrees of freedom
may have unforeseen consequences, especially in knowledge-intensive contexts
where accuracy is crucial. As a preliminary step to assessing the potential of
using LLMs in these contexts, we conducted a user study comparing an LLM-based
CA to an intent-based system regarding interaction efficiency, user experience,
workload, and usability. This revealed that LLM-based CAs exhibited better user
experience, task completion rate, usability, and perceived performance than
intent-based systems, suggesting that switching NLP techniques should be
investigated further.
- Abstract(参考訳): cognitive assistants(ca)は、知識集約的なタスクで人間労働者にコンテキスト認識サポートを提供するチャットボットである。
従来、認知アシスタントはユーザーの意図や会話パターンを事前に定義する特定の方法で応答する。
しかし、この厳格さは自然言語の多様性をうまく処理しない。
自然言語処理(NLP)の最近の進歩は、GPT-4、Llama2、Geminiのような大きな言語モデル(LLM)をパワーアップすることで、CAがより柔軟で人間的な方法で会話できるようになる。
しかしながら、追加の自由度は、特に正確性が重要である知識集約的な文脈において、予期せぬ結果をもたらす可能性がある。
これらの文脈でLCMを使用する可能性を評価するための予備的なステップとして,LCMベースのCAと対話効率,ユーザエクスペリエンス,ワークロード,ユーザビリティに関する意図に基づくシステムを比較した。
その結果,LCMをベースとしたCAは,インテントベースシステムよりもユーザエクスペリエンス,タスク完了率,ユーザビリティ,評価パフォーマンスが向上していることが判明した。
関連論文リスト
- The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - VAL: Interactive Task Learning with GPT Dialog Parsing [2.6207405455197827]
大規模言語モデル(LLM)は脆性に耐性があるが、解釈不可能であり、漸進的に学習することはできない。
LLM/シンボリック統合のための新しい哲学を持つIPLシステムであるVALを提案する。
ゲーム環境におけるVALのユーザインタラクションについて検討し,VALが自然であると感じた言語を用いて,ほとんどのユーザがVALを学べることを発見した。
論文 参考訳(メタデータ) (2023-10-02T20:45:41Z) - Spoken Language Intelligence of Large Language Models for Language
Learning [3.5924382852350902]
教育分野における大規模言語モデル(LLM)の有効性を評価することに注力する。
上記のシナリオにおけるLLMの有効性を評価するために,新しい複数選択質問データセットを提案する。
また,ゼロショット法や少数ショット法など,様々なプロンプト技術の影響についても検討する。
異なる大きさのモデルは、音韻学、音韻学、第二言語習得の概念をよく理解しているが、実世界の問題に対する推論には限界がある。
論文 参考訳(メタデータ) (2023-08-28T12:47:41Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-12-30T03:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。