論文の概要: Unimib Assistant: designing a student-friendly RAG-based chatbot for all their needs

• arxiv url: http://arxiv.org/abs/2411.19554v1
• Date: Fri, 29 Nov 2024 09:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:35.273231
• Title: Unimib Assistant: designing a student-friendly RAG-based chatbot for all their needs
• Title（参考訳）: Unimib Assistant:学生向けのRAGベースのチャットボット
• Authors: Chiara Antico, Stefano Giordano, Cansu Koyuturk, Dimitri Ognibene,
• Abstract要約: このパイロットスタディは,OpenAIカスタムGPT機能を用いた検索・拡張生成(RAG)システムによるChatGPT動作の専門化に重点を置いている。 我々はミラノ・ビコッカ大学(Unimib)の学生の特定のニーズに対する情報と解決策を提供するUnimib Assistantを開発した。 ユーザの満足度と全体的な経験は、システムが常に正確な情報を提供することができないことで損なわれた。
• 参考スコア（独自算出の注目度）: 1.0805849839756092
• License:
• Abstract: Natural language processing skills of Large Language Models (LLMs) are unprecedented, having wide diffusion and application in different tasks. This pilot study focuses on specializing ChatGPT behavior through a Retrieval-Augmented Generation (RAG) system using the OpenAI custom GPTs feature. The purpose of our chatbot, called Unimib Assistant, is to provide information and solutions to the specific needs of University of Milano-Bicocca (Unimib) students through a question-answering approach. We provided the system with a prompt highlighting its specific purpose and behavior, as well as university-related documents and links obtained from an initial need-finding phase, interviewing six students. After a preliminary customization phase, a qualitative usability test was conducted with six other students to identify the strengths and weaknesses of the chatbot, with the goal of improving it in a subsequent redesign phase. While the chatbot was appreciated for its user-friendly experience, perceived general reliability, well-structured responses, and conversational tone, several significant technical and functional limitations emerged. In particular, the satisfaction and overall experience of the users was impaired by the system's inability to always provide fully accurate information. Moreover, it would often neglect to report relevant information even if present in the materials uploaded and prompt given. Furthermore, it sometimes generated unclickable links, undermining its trustworthiness, since providing the source of information was an important aspect for our users. Further in-depth studies and feedback from other users as well as implementation iterations are planned to refine our Unimib Assistant.
• Abstract（参考訳）: 大規模言語モデル(LLM)の自然言語処理技術は前例がなく、様々なタスクに広く普及し応用されている。 このパイロットスタディは,OpenAIカスタムGPT機能を用いた検索・拡張生成(RAG)システムによるChatGPT動作の専門化に重点を置いている。 チャットボット「Unimib Assistant」の目的は、ミラノ・ビコッカ大学(Uniimib)の学生の特定のニーズに対する情報と解決策を提供することである。 そこで我々は,本システムに,その具体的目的と行動,および大学関連文書と,最初のニーズ達成段階から得られたリンクを提示し,6人の学生にインタビューを行った。 予備的なカスタマイズフェーズの後、他の6人の学生とともに定性的なユーザビリティテストを行い、チャットボットの強みと弱みを特定し、その後の再設計フェーズで改善することを目的とした。 チャットボットは、ユーザフレンドリーな体験、一般的な信頼性、よく構造化された応答、会話のトーンに感謝されたが、いくつかの重要な技術的および機能的な制限が出現した。 特に、ユーザの満足度と全体的な経験は、システムが常に完全に正確な情報を提供することができないことで損なわれた。 さらに、アップロードされた資料やプロンプトに含まれていたとしても、関連する情報を報告することは無視されることが多い。 さらに、情報ソースを提供することがユーザにとって重要な側面であるため、時にはクリック不能なリンクを生成し、信頼性を損なうこともあります。 他のユーザからの詳細な研究やフィードバック、実装のイテレーションは、Unimib Assistantを改良する予定です。

関連論文リスト

• Comparing the Utility, Preference, and Performance of Course Material Search Functionality and Retrieval-Augmented Generation Large Language Model (RAG-LLM) AI Chatbots in Information-Seeking Tasks [2.377308748205625]
  本研究の目的は,最近の大規模言語モデル(LLM)を学生支援機構として活用することであった。 実験室で実施したユーザスタディでは、参加者がWebソフトウェア開発コースのタスクに取り組みました。 以上の結果から,どちらの支援機構も有用であり,特定のタスクでは有効であるが,他のタスクではあまり役に立たないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-17T08:37:25Z)
• Improving Ontology Requirements Engineering with OntoChat and Participatory Prompting [3.3241053483599563]
  OREは主に、ドメインの専門家からユーザ要求を集めるために、インタビューや共同フォーラムのような手動の手法に依存しています。 Current OntoChatは,大規模な言語モデル(LLM)を使用してプロセスを合理化するための,ORE用のフレームワークを提供する。 本研究は,ユーザストーリのペルソナ,目標,シナリオ,サンプルデータ,データリソースの作成と精錬に重点を置いた,ユーザクエリに基づく事前定義されたプロンプトテンプレートを生成する。
  論文  参考訳（メタデータ） (2024-08-09T19:21:14Z)
• ChatGPT in Data Visualization Education: A Student Perspective [19.58123915686711]
  本研究では,これらの技術が学際的,プロジェクト指向のデータ可視化コースにおける学生の学習に与える影響について検討する。 学生は4つの異なるプロジェクトにわたってChatGPTに従事し、Tableau、D3、Vega-liteといったさまざまなツールを使ってデータの視覚化を設計および実装した。 分析では,ChatGPTの活用のメリットと障壁,学生の質問行動,支援のタイプ,課題の成果とエンゲージメントに与える影響について検討した。
  論文  参考訳（メタデータ） (2024-05-01T02:40:20Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)
• Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment [75.59538732476346]
  このようなギャップに着目した質問(GFQ)を自動生成する問題に着目する。 タスクを定義し、優れたGFQの所望の側面を強調し、これらを満たすモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-06T22:21:42Z)
• UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
  質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。 本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。 学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
  論文  参考訳（メタデータ） (2023-05-31T11:29:04Z)
• On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready to Obtain a University Degree? [0.0]
  大学教育におけるChatGPTの効果を評価する。 コンピュータサイエンスの高等教育は、ChatGPTのようなツールにどのように適応すべきかについて議論する。
  論文  参考訳（メタデータ） (2023-03-20T14:27:37Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Mining Implicit Relevance Feedback from User Behavior for Web Question Answering [92.45607094299181]
  本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。 提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。 実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
  論文  参考訳（メタデータ） (2020-06-13T07:02:08Z)
• IART: Intent-aware Response Ranking with Transformers in Information-seeking Conversation Systems [80.0781718687327]
  我々は、情報探索会話におけるユーザ意図パターンを分析し、意図認識型ニューラルレスポンスランキングモデル「IART」を提案する。 IARTは、ユーザ意図モデリングと言語表現学習とTransformerアーキテクチャの統合の上に構築されている。
  論文  参考訳（メタデータ） (2020-02-03T05:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。