論文の概要: Comparing the Utility, Preference, and Performance of Course Material Search Functionality and Retrieval-Augmented Generation Large Language Model (RAG-LLM) AI Chatbots in Information-Seeking Tasks

• arxiv url: http://arxiv.org/abs/2410.13326v1
• Date: Thu, 17 Oct 2024 08:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:30.031101
• Title: Comparing the Utility, Preference, and Performance of Course Material Search Functionality and Retrieval-Augmented Generation Large Language Model (RAG-LLM) AI Chatbots in Information-Seeking Tasks
• Title（参考訳）: 情報探索作業における教材探索機能と検索型大言語モデル(RAG-LLM)AIチャットボットの有用性, 嗜好, 性能の比較
• Authors: Leonardo Pasquarelli, Charles Koutcheme, Arto Hellas,
• Abstract要約: 本研究の目的は,最近の大規模言語モデル(LLM)を学生支援機構として活用することであった。 実験室で実施したユーザスタディでは、参加者がWebソフトウェア開発コースのタスクに取り組みました。 以上の結果から,どちらの支援機構も有用であり,特定のタスクでは有効であるが,他のタスクではあまり役に立たないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 2.377308748205625
• License:
• Abstract: Providing sufficient support for students requires substantial resources, especially considering the growing enrollment numbers. Students need help in a variety of tasks, ranging from information-seeking to requiring support with course assignments. To explore the utility of recent large language models (LLMs) as a support mechanism, we developed an LLM-powered AI chatbot that augments the answers that are produced with information from the course materials. To study the effect of the LLM-powered AI chatbot, we conducted a lab-based user study (N=14), in which the participants worked on tasks from a web software development course. The participants were divided into two groups, where one of the groups first had access to the chatbot and then to a more traditional search functionality, while another group started with the search functionality and was then given the chatbot. We assessed the participants' performance and perceptions towards the chatbot and the search functionality and explored their preferences towards the support functionalities. Our findings highlight that both support mechanisms are seen as useful and that support mechanisms work well for specific tasks, while less so for other tasks. We also observe that students tended to prefer the second support mechanism more, where students who were first given the chatbot tended to prefer the search functionality and vice versa.
• Abstract（参考訳）: 学生に十分な支援を与えるには、特に入学数の増加を考えると、かなりのリソースが必要である。 学生は、情報探索からコースの割り当てへの支援まで、様々なタスクで助けを必要としている。 支援機構としての最近の大規模言語モデル(LLM)の有用性を探るため,学習教材から得られる情報により回答を増大させるLLMを利用したAIチャットボットを開発した。 LLMを利用したAIチャットボットの効果を調べるため,実験室によるユーザスタディ(N=14)を実施し,参加者がWebソフトウェア開発コースのタスクに関わった。 参加者は2つのグループに分けられ、そのグループのうちの1つが最初にチャットボットにアクセスし、その後より伝統的な検索機能にアクセスし、もう1つのグループは検索機能を使い始め、その後チャットボットが与えられた。 チャットボットと検索機能に対する参加者のパフォーマンスと認識を評価し,サポート機能への嗜好について検討した。 以上の結果から,どちらの支援機構も有用であり,特定のタスクでは有効であるが,他のタスクではあまり役に立たないことが明らかとなった。 また,最初にチャットボットを与えられた学生は検索機能を好む傾向があり,その逆も好まれる傾向にあった。

関連論文リスト

• Improving Ontology Requirements Engineering with OntoChat and Participatory Prompting [3.3241053483599563]
  OREは主に、ドメインの専門家からユーザ要求を集めるために、インタビューや共同フォーラムのような手動の手法に依存しています。 Current OntoChatは,大規模な言語モデル(LLM)を使用してプロセスを合理化するための,ORE用のフレームワークを提供する。 本研究は,ユーザストーリのペルソナ,目標,シナリオ,サンプルデータ,データリソースの作成と精錬に重点を置いた,ユーザクエリに基づく事前定義されたプロンプトテンプレートを生成する。
  論文  参考訳（メタデータ） (2024-08-09T19:21:14Z)
• Tool Learning with Large Language Models: A Survey [60.733557487886635]
  大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。 この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
  論文  参考訳（メタデータ） (2024-05-28T08:01:26Z)
• Ruffle&Riley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System [21.139850269835858]
  会話学習システム(CTS)は、自然言語に基づく対話を通じて学習体験を提供する。 大規模言語モデル(LLM)の最近の進歩を2つの方法で活用する新しいタイプのCTSについて検討・評価する。 このシステムは、授業テキストから容易に編集可能な教育用スクリプトを自動生成することにより、AI支援コンテンツオーサリングを可能にする。
  論文  参考訳（メタデータ） (2024-04-26T14:57:55Z)
• Large language model-powered chatbots for internationalizing student support in higher education [0.0]
  本研究は、GPT-3.5とGPT-4 Turboを高等教育に統合し、国際化とデジタルトランスフォーメーションを活用することを目的とする。 学生のエンゲージメント、情報アクセス、サポートを改善するために、LLM(Large Language Models)の設計、実装、および応用に力を注いでいる。
  論文  参考訳（メタデータ） (2024-03-16T23:50:19Z)
• Multi-Purpose NLP Chatbot : Design, Methodology & Conclusion [0.0]
  本研究は,現在あるチャットボット技術環境を網羅的に分析するものである。 ユーザインタラクションと会話体験を改善するために強化学習戦略を利用する、非常に柔軟なシステムを提供する。 チャットボット技術の発展の複雑さと、これらの開発を推進してきた要因と、それらが様々な分野に及ぼした影響についても検討する。
  論文  参考訳（メタデータ） (2023-10-13T09:47:24Z)
• AI Chatbots as Multi-Role Pedagogical Agents: Transforming Engagement in CS Education [8.898863361318817]
  4つの異なるチャットボットを備えた新しい学習環境を開発し,実装し,評価する。 これらの役割は、学習者(能力、自律性、関連性)の3つの本質的な心理的ニーズを満たす。 このシステムは、質問に基づく学習パラダイムを採用し、学生に質問をし、解決策を求め、その好奇心を探求するよう促す。
  論文  参考訳（メタデータ） (2023-08-08T02:13:44Z)
• Learning Action-Effect Dynamics for Hypothetical Vision-Language Reasoning Task [50.72283841720014]
  本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。 本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
  論文  参考訳（メタデータ） (2022-12-07T05:41:58Z)
• Deep Active Learning for Computer Vision: Past and Future [50.19394935978135]
  AIモデルの開発に欠かせない役割にもかかわらず、アクティブラーニングの研究は他の研究の方向性ほど集中的ではない。 データ自動化の課題に対処し、自動化された機械学習システムに対処することによって、アクティブな学習はAI技術の民主化を促進する。
  論文  参考訳（メタデータ） (2022-11-27T13:07:14Z)
• Achieving Human Parity on Visual Question Answering [67.22500027651509]
  The Visual Question Answering (VQA) task using both visual image and language analysis to answer a textual question to a image。 本稿では,人間がVQAで行ったのと同じような,あるいは少しでも良い結果が得られるAliceMind-MMUに関する最近の研究について述べる。 これは,(1)包括的視覚的・テキスト的特徴表現による事前学習,(2)参加する学習との効果的な相互モーダル相互作用,(3)複雑なVQAタスクのための専門的専門家モジュールを用いた新たな知識マイニングフレームワークを含む,VQAパイプラインを体系的に改善することで達成される。
  論文  参考訳（メタデータ） (2021-11-17T04:25:11Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• Conversations with Search Engines: SERP-based Conversational Response Generation [77.1381159789032]
  我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。 また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。 CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
  論文  参考訳（メタデータ） (2020-04-29T13:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。