論文の概要: From Questions to Insightful Answers: Building an Informed Chatbot for University Resources
- arxiv url: http://arxiv.org/abs/2405.08120v1
- Date: Mon, 13 May 2024 19:05:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 15:47:11.196063
- Title: From Questions to Insightful Answers: Building an Informed Chatbot for University Resources
- Title(参考訳): 質問から洞察に満ちた回答へ:大学におけるインフォームドチャットボットの構築
- Authors: Subash Neupane, Elias Hossain, Jason Keith, Himanshu Tripathi, Farbod Ghiasi, Noorbakhsh Amiri Golilarz, Amin Amirlatifi, Sudip Mittal, Shahram Rahimi,
- Abstract要約: 本稿では,Large Language Model (LLM) を用いたRAGパイプラインを用いたシステムを提案する。
本システムは,大学データを外部データコーパスとして活用し,ドメイン固有の質問応答タスクのためにRAGパイプラインに取り込みます。
ミシシッピ州立大学において, 正確かつ関連する応答を生成できるシステムの有効性を事例として検討した。
- 参考スコア(独自算出の注目度): 2.563648444530805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents BARKPLUG V.2, a Large Language Model (LLM)-based chatbot system built using Retrieval Augmented Generation (RAG) pipelines to enhance the user experience and access to information within academic settings.The objective of BARKPLUG V.2 is to provide information to users about various campus resources, including academic departments, programs, campus facilities, and student resources at a university setting in an interactive fashion. Our system leverages university data as an external data corpus and ingests it into our RAG pipelines for domain-specific question-answering tasks. We evaluate the effectiveness of our system in generating accurate and pertinent responses for Mississippi State University, as a case study, using quantitative measures, employing frameworks such as Retrieval Augmented Generation Assessment(RAGAS). Furthermore, we evaluate the usability of this system via subjective satisfaction surveys using the System Usability Scale (SUS). Our system demonstrates impressive quantitative performance, with a mean RAGAS score of 0.96, and experience, as validated by usability assessments.
- Abstract(参考訳): 本稿では,Large Language Model (LLM) ベースのチャットボットシステムであるBARKPLUG V.2について述べる。
本システムは,大学データを外部データコーパスとして活用し,ドメイン固有の質問応答タスクのためにRAGパイプラインに取り込みます。
本研究では,ミシシッピ州立大学における高精度かつ関連する応答を生成するためのシステムの有効性を,定量的尺度を用いて評価し,レトリーバル拡張生成評価(RAGAS)などのフレームワークを用いて評価した。
さらに,システムユーザビリティ尺度(SUS)を用いた主観的満足度調査により,本システムのユーザビリティを評価する。
ユーザビリティ評価の結果,RAGASの平均スコアは0.96,経験値は0.96であった。
関連論文リスト
- Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。
複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
論文 参考訳(メタデータ) (2024-05-22T13:14:11Z) - Ruffle&Riley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System [21.139850269835858]
会話学習システム(CTS)は、自然言語に基づく対話を通じて学習体験を提供する。
大規模言語モデル(LLM)の最近の進歩を2つの方法で活用する新しいタイプのCTSについて検討・評価する。
このシステムは、授業テキストから容易に編集可能な教育用スクリプトを自動生成することにより、AI支援コンテンツオーサリングを可能にする。
論文 参考訳(メタデータ) (2024-04-26T14:57:55Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - Lessons Learned from Designing an Open-Source Automated Feedback System
for STEM Education [5.326069675013602]
RATsAppはオープンソースの自動フィードバックシステム(AFS)で、フォーマティブフィードバックなどの研究ベースの機能を組み込んでいる。
このシステムは、数学的能力、表現能力、データリテラシーなどの中核的なSTEM能力に焦点を当てている。
オープンソースプラットフォームであるRATsAppは、継続的な開発へのパブリックコントリビューションを奨励し、教育ツールを改善するための共同アプローチを促進する。
論文 参考訳(メタデータ) (2024-01-19T07:13:07Z) - AVIS: Autonomous Visual Information Seeking with Large Language Model
Agent [123.75169211547149]
本稿では,視覚的質問応答フレームワークAVISを提案する。
本手法は,LLM(Large Language Model)を利用して外部ツールの利用を動的に強化する。
AVIS は Infoseek や OK-VQA などの知識集約型視覚質問応答ベンチマークの最先端結果を達成する。
論文 参考訳(メタデータ) (2023-06-13T20:50:22Z) - FCC: Fusing Conversation History and Candidate Provenance for Contextual
Response Ranking in Dialogue Systems [53.89014188309486]
複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。
会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
論文 参考訳(メタデータ) (2023-03-31T23:58:28Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳(メタデータ) (2020-11-01T19:50:34Z) - The OARF Benchmark Suite: Characterization and Implications for
Federated Learning Systems [41.90546696412147]
Open Application Repository for Federated Learning (OARF)は、フェデレートされた機械学習システムのためのベンチマークスイートである。
OARFは、画像、テキスト、構造化データの異なるデータサイロとして、公開データセットを使って、より現実的なアプリケーションシナリオを模倣します。
論文 参考訳(メタデータ) (2020-06-14T10:11:36Z) - Improving time use measurement with personal big data collection -- the
experience of the European Big Data Hackathon 2019 [62.997667081978825]
この記事では、Eurostatが主催するNTTS(New Techniques and Technologies for Statistics)カンファレンスのサテライトイベントであるEuropean Big Data Hackathon 2019で、i-Logの経験を評価します。
i-Logは、スマートフォンの内部センサーから個人用ビッグデータをキャプチャして、時間的使用量を測定するシステムである。
論文 参考訳(メタデータ) (2020-04-24T18:40:08Z) - Educational Question Mining At Scale: Prediction, Analysis and
Personalization [35.42197158180065]
大規模に教育的な問題から洞察を抽出する枠組みを提案する。
我々は最先端のベイズ深層学習法、特に部分変分オートエンコーダ(p-VAE)を利用する。
提案したフレームワークを,数万の質問と数千万の回答をオンライン教育プラットフォームから収集した実世界のデータセットに適用する。
論文 参考訳(メタデータ) (2020-03-12T19:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。