論文の概要: Large Language Models for In-Context Student Modeling: Synthesizing
Student's Behavior in Visual Programming from One-Shot Observation
- arxiv url: http://arxiv.org/abs/2310.10690v1
- Date: Sun, 15 Oct 2023 12:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 19:45:58.008401
- Title: Large Language Models for In-Context Student Modeling: Synthesizing
Student's Behavior in Visual Programming from One-Shot Observation
- Title(参考訳): インコンテキスト学生モデリングのための大規模言語モデル--ワンショット観察による視覚プログラミングにおける学生の行動の合成
- Authors: Manh Hung Nguyen, Sebastian Tschiatschek, Adish Singla
- Abstract要約: 学生の行動の合成にLLMを利用する新しいフレームワーク LLM-SS を導入する。
学生Synベンチマークを用いて, LLM-SSに基づくいくつかの具体的な手法を評価する。
- 参考スコア(独自算出の注目度): 33.33474041214604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Student modeling is central to many educational technologies as it enables
the prediction of future learning outcomes and targeted instructional
strategies. However, open-ended learning environments pose challenges for
accurately modeling students due to the diverse behaviors exhibited by students
and the absence of a well-defined set of learning skills. To approach these
challenges, we explore the application of Large Language Models (LLMs) for
in-context student modeling in open-ended learning environments. We introduce a
novel framework, LLM-SS, that leverages LLMs for synthesizing student's
behavior. More concretely, given a particular student's solving attempt on a
reference task as observation, the goal is to synthesize the student's attempt
on a target task. Our framework can be combined with different LLMs; moreover,
we fine-tune LLMs using domain-specific expertise to boost their understanding
of domain background and student behaviors. We evaluate several concrete
methods based on LLM-SS using the StudentSyn benchmark, an existing student's
attempt synthesis benchmark in visual programming. Experimental results show a
significant improvement compared to baseline methods included in the StudentSyn
benchmark. Furthermore, our method using the fine-tuned Llama2-70B model
improves noticeably compared to using the base model and becomes on par with
using the state-of-the-art GPT-4 model.
- Abstract(参考訳): 学生モデリングは多くの教育技術の中心であり、将来の学習成果の予測と目標とする教育戦略を可能にする。
しかし,オープンエンド学習環境は,学生が提示する多様な行動や,十分に定義された学習スキルが欠如していることから,生徒を正確にモデル化する上で課題となる。
これらの課題にアプローチするために,オープンエンド学習環境における学習者モデルに対する大規模言語モデル(llm)の適用について検討する。
学生の行動の合成にLLMを利用する新しいフレームワーク LLM-SS を導入する。
より具体的には、特定の学生が参照タスクを観察として解決しようとする試みを考えると、目標は対象タスクに対する学生の試みを合成することである。
我々のフレームワークは異なるLLMと組み合わせることができ、ドメイン固有の専門知識を使って、ドメインの背景や学生の振る舞いに対する理解を深めることができます。
我々は,既存の学生の視覚プログラミングにおける試行合成ベンチマークであるSingsSynベンチマークを用いて,LLM-SSに基づくいくつかの具体的な手法を評価する。
実験結果から,StudentSynベンチマークのベースライン手法と比較して有意に改善した。
さらに,Llama2-70Bモデルを用いた手法は,ベースモデルと比較して顕著に改善され,最先端のGPT-4モデルと同等となる。
関連論文リスト
- Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。
AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。
本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
論文 参考訳(メタデータ) (2024-05-07T17:05:27Z) - Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning [3.2721068185888127]
本稿では,学生に動的かつ文脈的フィードバックを提供する概念実証アプリケーションを提案する。
具体的には、ChatGPTを使って、大学レベルのクラウドコンピューティングコースのためのオンラインプログラミング演習ボットを拡張します。
LLMは、コンテキスト内で発生する協調的な議論の詳細を組み込んだ、高度に位置決めされたリフレクショントリガを生成するために使用できることを実証する。
論文 参考訳(メタデータ) (2024-04-28T17:56:14Z) - ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。
ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。
LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
論文 参考訳(メタデータ) (2024-03-30T10:11:26Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Can LLMs Fix Issues with Reasoning Models? Towards More Likely Models
for AI Planning [26.239075588286127]
これは、大規模言語モデル(LLM)の自動化計画タスクにおけるモデル空間の編集を目的とした、最初の研究である。
LLMの性能とサーチ(CS)の対比を実証的に示す。
実験の結果,今後の計画課題に対するモデル空間推論のエキサイティングな世界へのさらなる進出を示唆する有望な成果が示された。
論文 参考訳(メタデータ) (2023-11-22T22:27:47Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - Unlocking the Potential of User Feedback: Leveraging Large Language
Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。
このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。
提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文 参考訳(メタデータ) (2023-06-16T13:04:56Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。
本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。
既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
論文 参考訳(メタデータ) (2021-10-06T19:30:25Z) - RLTutor: Reinforcement Learning Based Adaptive Tutoring System by
Modeling Virtual Student with Fewer Interactions [10.34673089426247]
本稿では,学生の仮想モデルを構築し,指導戦略を最適化する枠組みを提案する。
この結果は,eラーニングシステムにおける理論的指導最適化と実践的応用のバッファとして機能する。
論文 参考訳(メタデータ) (2021-07-31T15:42:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。