論文の概要: Large Language Models for In-Context Student Modeling: Synthesizing
Student's Behavior in Visual Programming
- arxiv url: http://arxiv.org/abs/2310.10690v2
- Date: Thu, 22 Feb 2024 06:31:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 18:30:56.698144
- Title: Large Language Models for In-Context Student Modeling: Synthesizing
Student's Behavior in Visual Programming
- Title(参考訳): インコンテキスト学生モデリングのための大規模言語モデル:視覚プログラミングにおける学生の行動の合成
- Authors: Manh Hung Nguyen, Sebastian Tschiatschek, Adish Singla
- Abstract要約: 本研究では,大規模言語モデル(LLM)のオープンエンド学習領域におけるコンテキスト内学習モデルへの応用について検討する。
学生の行動に LLM を利用する新しいフレームワーク LLM for Student Synthesis (LLM-SS) を導入する。
LLM-SSフレームワークに基づいて複数の手法をインスタンス化し、既存のベンチマークであるStudioSynを用いて視覚的プログラミング領域における学生の試行合成を行う。
- 参考スコア(独自算出の注目度): 33.33474041214604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Student modeling is central to many educational technologies as it enables
predicting future learning outcomes and designing targeted instructional
strategies. However, open-ended learning domains pose challenges for accurately
modeling students due to the diverse behaviors and a large space of possible
misconceptions. To approach these challenges, we explore the application of
large language models (LLMs) for in-context student modeling in open-ended
learning domains. More concretely, given a particular student's attempt on a
reference task as observation, the objective is to synthesize the student's
attempt on a target task. We introduce a novel framework, LLM for Student
Synthesis (LLM-SS), that leverages LLMs for synthesizing a student's behavior.
Our framework can be combined with different LLMs; moreover, we fine-tune LLMs
to boost their student modeling capabilities. We instantiate several methods
based on LLM-SS framework and evaluate them using an existing benchmark,
StudentSyn, for student attempt synthesis in a visual programming domain.
Experimental results show that our methods perform significantly better than
the baseline method NeurSS provided in the StudentSyn benchmark. Furthermore,
our method using a fine-tuned version of the GPT-3.5 model is significantly
better than using the base GPT-3.5 model and gets close to human tutors'
performance.
- Abstract(参考訳): 学生のモデリングは多くの教育技術の中心であり、将来の学習成果を予測し、対象とする指導戦略を設計することができる。
しかし、オープンエンドの学習領域は、多様な振る舞いと考えられる誤解の広い空間のために、学生の正確なモデリングに課題を生じさせる。
これらの課題にアプローチするために,オープンディビジョン学習領域における学習者モデルに対する大規模言語モデル(llm)の適用について検討する。
より具体的には、特定の学生が参照タスクを観察として試みていることを考えると、目的は対象タスクに対する学生の試みを合成することである。
学生の行動の合成に LLM を利用する新しいフレームワーク LLM for Student Synthesis (LLM-SS) を導入する。
我々のフレームワークは異なるllmと組み合わせることができる。さらに、学生のモデリング能力を高めるためにllmを微調整する。
LLM-SSフレームワークに基づいて複数の手法をインスタンス化し、既存のベンチマークであるStudioSynを用いて視覚的プログラミング領域における学生の試行合成を行う。
実験結果から,本手法はStudentSynベンチマークのベースライン手法であるNeurSSよりも優れた性能を示した。
さらに, GPT-3.5モデルの微調整版を用いた手法は, 基本型 GPT-3.5 モデルよりもはるかに優れており, チューターの性能に近づいた。
関連論文リスト
- Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。
AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。
本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
論文 参考訳(メタデータ) (2024-05-07T17:05:27Z) - Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning [3.2721068185888127]
本稿では,学生に動的かつ文脈的フィードバックを提供する概念実証アプリケーションを提案する。
具体的には、ChatGPTを使って、大学レベルのクラウドコンピューティングコースのためのオンラインプログラミング演習ボットを拡張します。
LLMは、コンテキスト内で発生する協調的な議論の詳細を組み込んだ、高度に位置決めされたリフレクショントリガを生成するために使用できることを実証する。
論文 参考訳(メタデータ) (2024-04-28T17:56:14Z) - ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。
ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。
LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
論文 参考訳(メタデータ) (2024-03-30T10:11:26Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Can LLMs Fix Issues with Reasoning Models? Towards More Likely Models
for AI Planning [26.239075588286127]
これは、大規模言語モデル(LLM)の自動化計画タスクにおけるモデル空間の編集を目的とした、最初の研究である。
LLMの性能とサーチ(CS)の対比を実証的に示す。
実験の結果,今後の計画課題に対するモデル空間推論のエキサイティングな世界へのさらなる進出を示唆する有望な成果が示された。
論文 参考訳(メタデータ) (2023-11-22T22:27:47Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - Unlocking the Potential of User Feedback: Leveraging Large Language
Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。
このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。
提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文 参考訳(メタデータ) (2023-06-16T13:04:56Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。
本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。
既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
論文 参考訳(メタデータ) (2021-10-06T19:30:25Z) - RLTutor: Reinforcement Learning Based Adaptive Tutoring System by
Modeling Virtual Student with Fewer Interactions [10.34673089426247]
本稿では,学生の仮想モデルを構築し,指導戦略を最適化する枠組みを提案する。
この結果は,eラーニングシステムにおける理論的指導最適化と実践的応用のバッファとして機能する。
論文 参考訳(メタデータ) (2021-07-31T15:42:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。