論文の概要: Real-World Deployment and Evaluation of Kwame for Science, An AI
Teaching Assistant for Science Education in West Africa
- arxiv url: http://arxiv.org/abs/2302.10786v1
- Date: Tue, 21 Feb 2023 16:20:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 14:24:52.105224
- Title: Real-World Deployment and Evaluation of Kwame for Science, An AI
Teaching Assistant for Science Education in West Africa
- Title(参考訳): 西アフリカにおける理科教育のためのai教育アシスタントkwame for scienceの実世界展開と評価
- Authors: George Boateng, Samuel John, Samuel Boateng, Philemon Badu, Patrick
Agyeman-Budu and Victor Kumbol
- Abstract要約: アフリカは生徒と教師の比率が高く、生徒の教師への教育的質問に対する回答を制限している。
私たちは、コーディング教育のためのAI教育アシスタントであるKwameを拡張し、それを科学教育に適応させ、Webアプリとしてデプロイしました。
私たちは8ヶ月にわたってKwame for Scienceを現実世界に展開し、32カ国(アフリカ15か国)で750人のユーザを獲得しました。
- 参考スコア(独自算出の注目度): 1.565870461096057
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Africa has a high student-to-teacher ratio which limits students' access to
teachers for learning support such as educational question answering. In this
work, we extended Kwame, our previous AI teaching assistant for coding
education, adapted it for science education, and deployed it as a web app.
Kwame for Science provides passages from well-curated knowledge sources and
related past national exam questions as answers to questions from students
based on the Integrated Science subject of the West African Senior Secondary
Certificate Examination (WASSCE). Furthermore, students can view past national
exam questions along with their answers and filter by year, question type
(objectives, theory, and practicals), and topics that were automatically
categorized by a topic detection model which we developed (91% unweighted
average recall). We deployed Kwame for Science in the real world over 8 months
and had 750 users across 32 countries (15 in Africa) and 1.5K questions asked.
Our evaluation showed an 87.2% top 3 accuracy (n=109 questions) implying that
Kwame for Science has a high chance of giving at least one useful answer among
the 3 displayed. We categorized the reasons the model incorrectly answered
questions to provide insights for future improvements. We also share challenges
and lessons with the development, deployment, and human-computer interaction
component of such a tool to enable other researchers to deploy similar tools.
With a first-of-its-kind tool within the African context, Kwame for Science has
the potential to enable the delivery of scalable, cost-effective, and quality
remote education to millions of people across Africa.
- Abstract(参考訳): アフリカは生徒と教師の比率が高く、教育的質問応答のような学習支援のための教師へのアクセスを制限している。
この作業では、コーディング教育のAI教育アシスタントであるKwameを拡張し、科学教育に適応させ、Webアプリとしてデプロイしました。
クウェーム・フォー・サイエンス(Kwame for Science)は、西アフリカ上級中等試験(WASSCE)の総合科学科(Integrated Science subject)に基づく学生からの質問に対する回答として、精巧な知識ソースと関連する過去の国家試験に関する質問からのパスを提供する。
さらに, 学生は過去の全国試験の質問や回答, 年々のフィルタリング, 質問タイプ(目的, 理論, 実践), および, 開発したトピック検出モデルによって自動的に分類されたトピック(平均91%の未加重リコール)を見ることができる。
kwame for scienceを8ヶ月にわたって現実世界に展開し、32カ国(アフリカ15か国)で750人のユーザと15万の質問がありました。
評価の結果、トップ3の正確性は87.2%(n=109問)で、kwame for scienceは表示された3つのうち少なくとも1つの有用な答えを与える確率が高いことが示唆された。
モデルが正しく答えていない理由を分類し、今後の改善に対する洞察を提供した。
我々はまた、他の研究者が同様のツールをデプロイできるように、そのようなツールの開発、デプロイ、人間とコンピュータのインタラクションコンポーネントに課題と教訓を共有します。
Kwame for Scienceは、アフリカ大陸の何百万人もの人々に、スケーラブルで費用対効果が高くて高品質な遠隔教育を届ける可能性を秘めている。
関連論文リスト
- Language Models as Science Tutors [80.5847894062664]
本研究では,LMの現実的なユーザビリティを科学的アシスタントとして測定するTutorEvalとTutorChatを紹介する。
既存の対話データセットを用いた微調整ベースモデルがTutorEvalの性能を低下させることを示す。
我々はTutorChatを用いて、7Bパラメータと34Bパラメータを持つLlemmaモデルを微調整する。これらのLMチューターは32Kのコンテキストウィンドウを持ち、GSM8KとMATHに強く依存しながらTutorEvalで優れている。
論文 参考訳(メタデータ) (2024-02-16T22:24:13Z) - Leveraging AI to Advance Science and Computing Education across Africa:
Progress, Challenges, and Opportunities [1.2691047660244332]
アフリカにおける教育ツールにおけるAIの開発と展開について述べる。
SuaCodeは、アフリカ人が自分のスマートフォンを使ってプログラミングを学ぶことができるAIベースのアプリだ。
我々は、AIを使ってアフリカ全土の科学とコンピューティング教育を前進させる課題と可能性について論じる。
論文 参考訳(メタデータ) (2024-02-12T04:10:09Z) - Can ChatGPT pass the Vietnamese National High School Graduation
Examination? [0.0]
研究データセットには、文学テストケースで30のエッセイと、他の被験者向けにデザインされた1,700の多重選択質問が含まれていた。
ChatGPTは平均スコア6-7で試験に合格し、この技術が教育現場に革命をもたらす可能性を実証した。
論文 参考訳(メタデータ) (2023-06-15T14:47:03Z) - UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。
本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。
学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
論文 参考訳(メタデータ) (2023-05-31T11:29:04Z) - Can an AI Win Ghana's National Science and Maths Quiz? An AI Grand
Challenge for Education [2.0625936401496237]
我々は,ガーナの国立科学・数学クイズコンペティション(NSMQ)をケーススタディとして,NSMQ AI Grand Challenge for Educationを提案する。
提案した大きな課題は,“AIを構築して,ガーナのNSMQ(National Science and Maths Quiz)コンペに出場し,優勝する”ことだ。
論文 参考訳(メタデータ) (2023-01-30T17:28:33Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳(メタデータ) (2022-09-20T07:04:24Z) - Kwame for Science: An AI Teaching Assistant Based on Sentence-BERT for
Science Education in West Africa [1.6799377888527687]
アフリカは生徒と教師の比率が高く、生徒の教師へのアクセスを制限している。
私たちは、以前のAI教育アシスタントであるKwameを拡張して、それを科学教育に適応させ、Webアプリとしてデプロイしました。
論文 参考訳(メタデータ) (2022-06-28T02:27:23Z) - Asking for Knowledge: Training RL Agents to Query External Knowledge
Using Language [121.56329458876655]
グリッドワールドベースのQ-BabyAIとテキストベースのQ-TextWorldの2つの新しい環境を紹介した。
本稿では,意味のある知識を問うための言語コマンドを生成する「知識の探索(AFK)」エージェントを提案する。
論文 参考訳(メタデータ) (2022-05-12T14:20:31Z) - Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need
in MOOC Forums [58.221459787471254]
大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。
多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。
MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。
本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
論文 参考訳(メタデータ) (2021-04-26T15:12:13Z) - Incremental Knowledge Based Question Answering [52.041815783025186]
人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。
具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。
包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
論文 参考訳(メタデータ) (2021-01-18T09:03:38Z) - Kwame: A Bilingual AI Teaching Assistant for Online SuaCode Courses [2.4366811507669124]
我々は、英語とフランス語のSuaCodeコースから学生のコーディング質問に対する回答を提供するバイリンガル人工知能(AI)指導アシスタント(TA)を開発した。
KwameはSBERT(Sentence-BERT)をベースとしたQAシステムで,過去のコホートにおいて,教科のクイズ,授業ノート,学生の質問から作成された質問応答ペアを用いて,オフラインで学習し,評価した。
その結果,コースデータの微調整と上位3と5の回答の返却により精度が向上した。
論文 参考訳(メタデータ) (2020-10-22T02:26:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。