論文の概要: Real-World Deployment and Evaluation of Kwame for Science, An AI Teaching Assistant for Science Education in West Africa
- arxiv url: http://arxiv.org/abs/2302.10786v3
- Date: Fri, 26 Apr 2024 23:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 01:44:16.337345
- Title: Real-World Deployment and Evaluation of Kwame for Science, An AI Teaching Assistant for Science Education in West Africa
- Title（参考訳）: 西アフリカにおける科学教育のためのAI教材「Kwame for Science」の実世界展開と評価
- Authors: George Boateng, Samuel John, Samuel Boateng, Philemon Badu, Patrick Agyeman-Budu, Victor Kumbol,
- Abstract要約: アフリカは生徒と教師の比率が高く、生徒の教師への教育的質問に対する回答を制限している。
私たちは、コーディング教育のためのバイリンガルAI教育アシスタントであるKwameを拡張し、科学教育に適応させ、Webアプリとしてデプロイしました。
私たちは8ヶ月にわたってKwame for Scienceを現実世界に展開し、32カ国(アフリカ15か国)で750人のユーザを獲得しました。
- 参考スコア（独自算出の注目度）: 0.769672852567215
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Africa has a high student-to-teacher ratio which limits students' access to teachers for learning support such as educational question answering. In this work, we extended Kwame, a bilingual AI teaching assistant for coding education, adapted it for science education, and deployed it as a web app. Kwame for Science provides passages from well-curated knowledge sources and related past national exam questions as answers to questions from students based on the Integrated Science subject of the West African Senior Secondary Certificate Examination (WASSCE). Furthermore, students can view past national exam questions along with their answers and filter by year, question type, and topics that were automatically categorized by a topic detection model which we developed (91% unweighted average recall). We deployed Kwame for Science in the real world over 8 months and had 750 users across 32 countries (15 in Africa) and 1.5K questions asked. Our evaluation showed an 87.2% top 3 accuracy (n=109 questions) implying that Kwame for Science has a high chance of giving at least one useful answer among the 3 displayed. We categorized the reasons the model incorrectly answered questions to provide insights for future improvements. We also share challenges and lessons with the development, deployment, and human-computer interaction component of such a tool to enable other researchers to deploy similar tools. With a first-of-its-kind tool within the African context, Kwame for Science has the potential to enable the delivery of scalable, cost-effective, and quality remote education to millions of people across Africa.
- Abstract（参考訳）: アフリカは生徒と教師の比率が高く、教育的質問応答のような学習支援のための教師へのアクセスを制限している。
この作業では、コーディング教育のためのバイリンガルAI教育アシスタントであるKwameを拡張し、科学教育に適応させ、Webアプリとしてデプロイしました。
クウェーム・フォー・サイエンス(Kwame for Science)は、西アフリカ上級中等試験(WASSCE)の総合科学科(Integrated Science subject)に基づく学生からの質問に対する回答として、精巧な知識ソースと関連する過去の国家試験に関する質問からのパスを提供する。
さらに,これまでに開発したトピック検出モデル(平均91%の非重み付きリコール)によって自動的に分類された,過去の全国試験の質問や回答や回答のフィルタリング,質問タイプ,トピックを見ることができる。
私たちは8ヶ月にわたってKwame for Scienceを現実世界に展開し、32カ国(アフリカ15か国)で750人のユーザを獲得しました。
評価の結果,87.2%の正解率(n=109質問)が得られた。
モデルが疑問に正しく答えていない理由を分類し、今後の改善に対する洞察を提供した。
我々はまた、他の研究者が同様のツールをデプロイできるように、そのようなツールの開発、デプロイ、人間とコンピュータのインタラクションコンポーネントに課題と教訓を共有します。
Kwame for Scienceは、アフリカ大陸の何百万人もの人々に、スケーラブルで費用対効果が高くて高品質な遠隔教育を届ける可能性を秘めている。
関連論文リスト
- How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。
言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。
我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
論文 参考訳（メタデータ） (2024-07-19T13:42:56Z) - Evaluating Large Vision-and-Language Models on Children's Mathematical Olympiads [74.54183505245553]
ジョイントビジョンとテキスト推論のためのAI能力の体系的分析は、現在の科学文献に欠けている。
我々は,子どものオリンピアードからのビジュオ言語問題を用いて,その数学的およびアルゴリズム的推論能力に基づいて,最先端のLVLMを評価した。
以上の結果から,近代のLVLMは,高学年の問題解決において,より強力な推論能力を示す一方で,幼児向けの問題に正しく答える基盤が欠如していることが示唆された。
論文 参考訳（メタデータ） (2024-06-22T05:04:39Z) - Automated Question Generation for Science Tests in Arabic Language Using NLP Techniques [5.233512464561313]
本研究は,3段階のプロセス上に構築されたイノベーティブなアラビア質問生成システムを提案する。
提案手法と結果は83.50%の精度、78.68%のリコール、80.95%のFlスコアを示している。
論文 参考訳（メタデータ） (2024-06-11T20:27:45Z) - Language Models as Science Tutors [79.73256703631492]
本研究では,LMの現実的なユーザビリティを科学的アシスタントとして測定するTutorEvalとTutorChatを紹介する。
既存の対話データセットを用いた微調整ベースモデルがTutorEvalの性能を低下させることを示す。
我々はTutorChatを用いて、7Bパラメータと34Bパラメータを持つLlemmaモデルを微調整する。これらのLMチューターは32Kのコンテキストウィンドウを持ち、GSM8KとMATHに強く依存しながらTutorEvalで優れている。
論文 参考訳（メタデータ） (2024-02-16T22:24:13Z) - Leveraging AI to Advance Science and Computing Education across Africa: Challenges, Progress and Opportunities [1.2691047660244332]
アフリカにおける科学・コンピューティング教育のための教育ツールにおけるAIの開発と展開について述べる。
SuaCodeは、アフリカ人がスマートフォンを使ってプログラミングを学ぶことができるAIベースのアプリだ。
AutoGradは、グラフィカルおよびインタラクティブなコーディング割り当てのための自動グレーディングおよびフィードバックツールである。
Kwame for Science(クウェーム・フォー・サイエンス、英語: Kwame for Science)は、学生の科学問題に対する即時回答を提供する、WebベースのAI教育アシスタントである。
論文 参考訳（メタデータ） (2024-02-12T04:10:09Z) - Adapting Large Language Models for Education: Foundational Capabilities, Potentials, and Challenges [60.62904929065257]
大規模言語モデル(LLM)は、個々の要求を解釈することでこの問題を解決する可能性を提供する。
本稿では, 数学, 文章, プログラミング, 推論, 知識に基づく質問応答など, 教育能力に関する最近のLLM研究を概観する。
論文 参考訳（メタデータ） (2023-12-27T14:37:32Z) - Can ChatGPT pass the Vietnamese National High School Graduation
Examination? [0.0]
研究データセットには、文学テストケースで30のエッセイと、他の被験者向けにデザインされた1,700の多重選択質問が含まれていた。
ChatGPTは平均スコア6-7で試験に合格し、この技術が教育現場に革命をもたらす可能性を実証した。
論文 参考訳（メタデータ） (2023-06-15T14:47:03Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳（メタデータ） (2022-09-20T07:04:24Z) - Kwame for Science: An AI Teaching Assistant Based on Sentence-BERT for
Science Education in West Africa [1.6799377888527687]
アフリカは生徒と教師の比率が高く、生徒の教師へのアクセスを制限している。
私たちは、以前のAI教育アシスタントであるKwameを拡張して、それを科学教育に適応させ、Webアプリとしてデプロイしました。
論文 参考訳（メタデータ） (2022-06-28T02:27:23Z) - Incremental Knowledge Based Question Answering [52.041815783025186]
人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。
具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。
包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
論文 参考訳（メタデータ） (2021-01-18T09:03:38Z) - Kwame: A Bilingual AI Teaching Assistant for Online SuaCode Courses [2.4366811507669124]
我々は、英語とフランス語のSuaCodeコースから学生のコーディング質問に対する回答を提供するバイリンガル人工知能(AI)指導アシスタント(TA)を開発した。
KwameはSBERT(Sentence-BERT)をベースとしたQAシステムで,過去のコホートにおいて,教科のクイズ,授業ノート,学生の質問から作成された質問応答ペアを用いて,オフラインで学習し,評価した。
その結果,コースデータの微調整と上位3と5の回答の返却により精度が向上した。
論文 参考訳（メタデータ） (2020-10-22T02:26:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。