論文の概要: Chatbots in Knowledge-Intensive Contexts: Comparing Intent and LLM-Based Systems

• arxiv url: http://arxiv.org/abs/2402.04955v1
• Date: Wed, 7 Feb 2024 15:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 14:51:47.460133
• Title: Chatbots in Knowledge-Intensive Contexts: Comparing Intent and LLM-Based Systems
• Title（参考訳）: 知識集約的コンテキストにおけるチャットボット:インテントとllmベースのシステムの比較
• Authors: Samuel Kernan Freire, Chaofan Wang, Evangelos Niforatos
• Abstract要約: 認知アシスタント(CA)は、知識集約的なタスクにおいて、ヒューマンワーカーにコンテキスト認識のサポートを提供する。 自然言語処理(NLP)の最近の進歩により、CAはより柔軟で人間的な方法で会話できるようになる。 LLMベースのCAは、インテントベースのシステムよりも優れたユーザエクスペリエンス、タスク完了率、ユーザビリティ、認識パフォーマンスを示した。
• 参考スコア（独自算出の注目度）: 9.982795366770086
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Cognitive assistants (CA) are chatbots that provide context-aware support to human workers in knowledge-intensive tasks. Traditionally, cognitive assistants respond in specific ways to predefined user intents and conversation patterns. However, this rigidness does not handle the diversity of natural language well. Recent advances in natural language processing (NLP), powering large language models (LLM) such as GPT-4, Llama2, and Gemini, could enable CAs to converse in a more flexible, human-like manner. However, the additional degrees of freedom may have unforeseen consequences, especially in knowledge-intensive contexts where accuracy is crucial. As a preliminary step to assessing the potential of using LLMs in these contexts, we conducted a user study comparing an LLM-based CA to an intent-based system regarding interaction efficiency, user experience, workload, and usability. This revealed that LLM-based CAs exhibited better user experience, task completion rate, usability, and perceived performance than intent-based systems, suggesting that switching NLP techniques should be investigated further.
• Abstract（参考訳）: cognitive assistants(ca)は、知識集約的なタスクで人間労働者にコンテキスト認識サポートを提供するチャットボットである。 従来、認知アシスタントはユーザーの意図や会話パターンを事前に定義する特定の方法で応答する。 しかし、この厳格さは自然言語の多様性をうまく処理しない。 自然言語処理(NLP)の最近の進歩は、GPT-4、Llama2、Geminiのような大きな言語モデル(LLM)をパワーアップすることで、CAがより柔軟で人間的な方法で会話できるようになる。 しかしながら、追加の自由度は、特に正確性が重要である知識集約的な文脈において、予期せぬ結果をもたらす可能性がある。 これらの文脈でLCMを使用する可能性を評価するための予備的なステップとして,LCMベースのCAと対話効率,ユーザエクスペリエンス,ワークロード,ユーザビリティに関する意図に基づくシステムを比較した。 その結果,LCMをベースとしたCAは,インテントベースシステムよりもユーザエクスペリエンス,タスク完了率,ユーザビリティ,評価パフォーマンスが向上していることが判明した。

関連論文リスト

• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• ExpeL: LLM Agents Are Experiential Learners [57.13685954854463]
  実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
  論文  参考訳（メタデータ） (2023-08-20T03:03:34Z)
• Improving Knowledge Extraction from LLMs for Task Learning through Agent Analysis [4.055489363682198]
  大規模言語モデル(LLM)は、タスク学習の知識源として大きな可能性を秘めている。 プロンプト工学は、LLMから知識を引き出すのに有効であることが示されているが、同時に、新しいタスクを具現化したエージェント学習のための、適切な、状況に根ざした知識を得るには不十分である。 本稿では,認知エージェントアプローチであるSTARSについて述べる。これは,迅速なエンジニアリングを拡張し,その制限を緩和し,エージェントがネイティブ言語能力,具体化,環境,ユーザ嗜好に適合する新たなタスク知識を取得できるようにする。
  論文  参考訳（メタデータ） (2023-06-11T20:50:14Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。