論文の概要: Large Language Models for Education: ChemTAsk -- An Open-Source Paradigm for Automated Q&A in the Graduate Classroom

• arxiv url: http://arxiv.org/abs/2502.00016v1
• Date: Fri, 10 Jan 2025 02:19:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-09 06:16:01.932023
• Title: Large Language Models for Education: ChemTAsk -- An Open-Source Paradigm for Automated Q&A in the Graduate Classroom
• Title（参考訳）: 教育用大規模言語モデル:ChemTAsk - 大学院授業におけるQ&A自動化のためのオープンソースパラダイム
• Authors: Ryann M. Perez, Marie Shimogawa, Yannan Chang, Hoang Ahn T. Phan, Jason G. Marmorstein, Evan S. K. Yanagawa, E. James Petersson,
• Abstract要約: 大規模言語モデル(LLM)は、大学院レベルの教育を支援することを約束するが、トレーニングデータと潜在的なコミュニケーションによって制限される。 我々は,LLMと検索拡張生成(RAG)を組み合わせたオープンソースのパイプラインであるChemTAskを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) show promise for aiding graduate level education, but are limited by their training data and potential confabulations. We developed ChemTAsk, an open-source pipeline that combines LLMs with retrieval-augmented generation (RAG) to provide accurate, context-specific assistance. ChemTAsk utilizes course materials, including lecture transcripts and primary publications, to generate accurate responses to student queries. Over nine weeks in an advanced biological chemistry course at the University of Pennsylvania, students could opt in to use ChemTAsk for assistance in any assignment or to understand class material. Comparative analysis showed ChemTAsk performed on par with human teaching assistants (TAs) in understanding student queries and providing accurate information, particularly excelling in creative problem-solving tasks. In contrast, TAs were more precise in their responses and tailored their assistance to the specifics of the class. Student feedback indicated that ChemTAsk was perceived as correct, helpful, and faster than TAs. Open-source and proprietary models from Meta and OpenAI respectively were tested on an original biological chemistry benchmark for future iterations of ChemTAsk. It was found that OpenAI models were more tolerant to deviations in the input prompt and excelled in self-assessment to safeguard for potential confabulations. Taken together, ChemTAsk demonstrates the potential of integrating LLMs with RAG to enhance educational support, offering a scalable tool for students and educators.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大学院レベルの教育を支援することを約束するが、トレーニングデータと潜在的なコミュニケーションによって制限される。 我々は,LLMと検索拡張生成(RAG)を組み合わせたオープンソースのパイプラインであるChemTAskを開発した。 ChemTAskは、講義の書き起こしや一次出版物を含むコース資料を利用して、学生の質問に対する正確な応答を生成する。 ペンシルバニア大学の先進的な生物化学コースで9週間以上を過ごし、学生はChemTAskを使ってあらゆる課題やクラス資料の理解に役立てることができた。 比較分析の結果,ChemTAskは,学生の質問に対する理解と正確な情報提供,特に創造的な問題解決に優れていた。 対照的に、TAは彼らの反応をより正確にし、クラス固有のものへの支援を調整した。 学生のフィードバックから,ChemTAskはTAよりも正確で,有用で,高速であると考えられた。 MetaとOpenAIのオープンソースモデルとプロプライエタリモデルはそれぞれ、ChemTAskの将来のイテレーションのためのオリジナルの生物化学ベンチマークでテストされた。 その結果、OpenAIモデルは入力プロンプトの偏差に寛容であり、自己評価に優れ、潜在的な妥協の保護に優れていた。 ChemTAskは、LLMをRAGと統合して教育サポートを強化し、学生や教育者にスケーラブルなツールを提供する可能性を実証している。

関連論文リスト

• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• ChemVLM: Exploring the Power of Multimodal Large Language Models in Chemistry Area [50.15254966969718]
  textbfChemVLMは、化学応用のためのオープンソースの化学マルチモーダル大規模言語モデルである。 ChemVLMは、テキストと視覚の化学情報の両方を理解する能力を高めるために、慎重にキュレートされたバイリンガルデータセットで訓練されている。 我々はChemVLMを、様々なタスクにおいて、オープンソースおよびプロプライエタリな多モーダルな大規模言語モデルに対してベンチマークする。
  論文  参考訳（メタデータ） (2024-08-14T01:16:40Z)
• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• Are large language models superhuman chemists? [4.87961182129702]
  大規模言語モデル(LLM)は、人間の言語を処理し、明示的に訓練されていないタスクを実行する能力によって、広く関心を集めている。 本稿では,最新のLCMの化学知識と推論能力を評価する自動化フレームワークであるChemBenchを紹介する。 我々は2700以上の質問応答ペアをキュレートし、主要なオープンソースとクローズドソースのLCMを評価し、最良のモデルが最高の化学者より優れていることを発見した。
  論文  参考訳（メタデータ） (2024-04-01T20:56:25Z)
• An Autonomous Large Language Model Agent for Chemical Literature Data Mining [60.85177362167166]
  本稿では,幅広い化学文献から高忠実度抽出が可能なエンドツーエンドAIエージェントフレームワークを提案する。 本フレームワークの有効性は,反応条件データの精度,リコール,F1スコアを用いて評価する。
  論文  参考訳（メタデータ） (2024-02-20T13:21:46Z)
• ChemDFM: A Large Language Foundation Model for Chemistry [27.864255196445324]
  より汎用的で効率的なソリューションは、多くのタスクに対処し、幅広い化学分野における自由形式の対話をサポートするAIモデルである。 我々は化学文献や教科書から34Bトークンを学習し、2.7Mインストラクションを用いて微調整した化学用LLMのパイオニアであるChemDFMを開発した。 我々はHuggingface上のChemDFMの推論コード、評価データセット、モデルウェイトをオープンソース化した。
  論文  参考訳（メタデータ） (2024-01-26T12:45:55Z)
• Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [57.70772230913099]
  Chemist-Xは、検索増強生成(RAG)技術を用いた化学合成において、反応条件レコメンデーション(RCR)タスクを自動化する。 Chemist-Xはオンラインの分子データベースを尋問し、最新の文献データベースから重要なデータを蒸留する。 Chemist-Xは化学者の作業量を大幅に減らし、より根本的で創造的な問題に集中できるようにする。
  論文  参考訳（メタデータ） (2023-11-16T01:21:33Z)
• ChemCrow: Augmenting large-language models with chemistry tools [0.9195187117013247]
  大規模言語モデル(LLM)は、領域全体にわたるタスクにおいて高いパフォーマンスを示してきたが、化学に関連した問題に悩まされている。 本研究では, 有機合成, 創薬, 材料設計における課題を遂行するLLM化学剤であるChemCrowを紹介する。 我々のエージェントは、昆虫の忌避剤である3種の有機触媒の合成を自律的に計画し、実行し、新しいクロモフォアの発見を導いた。
  論文  参考訳（メタデータ） (2023-04-11T17:41:13Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。