Fugu-MT 論文翻訳(概要): Predicting Learning Performance with Large Language Models: A Study in Adult Literacy

論文の概要: Predicting Learning Performance with Large Language Models: A Study in Adult Literacy

arxiv url: http://arxiv.org/abs/2403.14668v1
Date: Mon, 4 Mar 2024 08:14:07 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 03:43:10.540635
Title: Predicting Learning Performance with Large Language Models: A Study in Adult Literacy
Title（参考訳）: 大規模言語モデルによる学習性能予測 : 成人リテラシーの研究
Authors: Liang Zhang, Jionghao Lin, Conrad Borchers, John Sabatini, John Hollander, Meng Cao, Xiangen Hu,
Abstract要約: 本研究では,大規模な言語モデル(LLM)を含む高度なAIモデルを用いて,ITSにおける成人リテラシープログラムにおける学習性能の予測を行う。 5倍のクロスバリデーション手法による学習性能の予測において,従来の機械学習手法と比較してGPT-4の予測能力を評価する。
参考スコア（独自算出の注目度）: 18.48602704139462
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Intelligent Tutoring Systems (ITSs) have significantly enhanced adult literacy training, a key factor for societal participation, employment opportunities, and lifelong learning. Our study investigates the application of advanced AI models, including Large Language Models (LLMs) like GPT-4, for predicting learning performance in adult literacy programs in ITSs. This research is motivated by the potential of LLMs to predict learning performance based on its inherent reasoning and computational capabilities. By using reading comprehension datasets from the ITS, AutoTutor, we evaluate the predictive capabilities of GPT-4 versus traditional machine learning methods in predicting learning performance through five-fold cross-validation techniques. Our findings show that the GPT-4 presents the competitive predictive abilities with traditional machine learning methods such as Bayesian Knowledge Tracing, Performance Factor Analysis, Sparse Factor Analysis Lite (SPARFA-Lite), tensor factorization and eXtreme Gradient Boosting (XGBoost). While XGBoost (trained on local machine) outperforms GPT-4 in predictive accuracy, GPT-4-selected XGBoost and its subsequent tuning on the GPT-4 platform demonstrates superior performance compared to local machine execution. Moreover, our investigation into hyper-parameter tuning by GPT-4 versus grid-search suggests comparable performance, albeit with less stability in the automated approach, using XGBoost as the case study. Our study contributes to the field by highlighting the potential of integrating LLMs with traditional machine learning models to enhance predictive accuracy and personalize adult literacy education, setting a foundation for future research in applying LLMs within ITSs.
Abstract（参考訳）: 知的学習システム(ITS)は、社会参加、雇用機会、生涯学習の重要な要素である成人リテラシー教育を著しく強化した。 GPT-4のような大規模言語モデル(LLM)を含む先進AIモデルの、ITSにおける成人リテラシープログラムにおける学習性能予測への応用について検討した。本研究の動機は,LLMが固有の推論と計算能力に基づいて学習性能を予測することにある。 ITS, AutoTutor からの理解データセットを読み取ることにより, 5倍のクロスバリデーション手法による学習性能の予測において, GPT-4 と従来の機械学習手法の予測能力を評価する。その結果,GPT-4は,ベイズ的知識追跡,性能因子分析,スパース因子分析リテラル(SPARFA-Lite),テンソル因子化,eXtreme Gradient Boosting(XGBoost)といった従来の機械学習手法と競合する予測能力を示すことがわかった。 XGBoost(ローカルマシンでトレーニング)はGPT-4よりも予測精度が高いが、GPT-4の選択したXGBoostとその後のGPT-4プラットフォームでのチューニングは、ローカルマシンの実行よりも優れたパフォーマンスを示している。さらに,GPT-4とグリッド検索によるハイパーパラメータチューニングの検討では,XGBoostをケーススタディとして,自動化アプローチの安定性が低いにもかかわらず,同等の性能が示唆された。我々の研究は、予測精度を高め、成人リテラシー教育をパーソナライズするために、従来の機械学習モデルとLCMを統合する可能性を強調し、将来の研究の基盤をITSに組み込むことによって、この分野に貢献する。

関連論文リスト

KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
論文参考訳（メタデータ） (2024-11-22T08:21:03Z)
ExACT: Teaching AI Agents to Explore with Reflective-MCTS and Exploratory Learning [78.42927884000673]
ExACTは、エージェントアプリケーションのためのo1のようなモデルを構築するために、テスト時間検索と自己学習を組み合わせるアプローチである。リフレクティブモンテカルロ木探索(Reflective Monte Carlo Tree Search, R-MCTS)は、AIエージェントがその場で意思決定空間を探索する能力を高めるために設計された新しいテストタイムアルゴリズムである。次に,探索学習(Exploratory Learning)という,外部探索アルゴリズムに頼らずに,エージェントに推論時間での探索を教える新しい学習戦略を紹介する。
論文参考訳（メタデータ） (2024-10-02T21:42:35Z)
Harnessing Earnings Reports for Stock Predictions: A QLoRA-Enhanced LLM Approach [6.112119533910774]
本稿では、命令ベースの新しい手法と量子化低ランク適応(QLoRA)圧縮を組み合わせることで、LLM(Large Language Models)命令を微調整することで、高度なアプローチを提案する。近年の市場指標やアナリストの成績等「外部要因」を統合して、リッチで教師付きデータセットを作成する。この研究は、最先端のAIを微調整された財務データに統合する能力を実証するだけでなく、AI駆動の財務分析ツールを強化するための将来の研究の道を開く。
論文参考訳（メタデータ） (2024-08-13T04:53:31Z)
3DG: A Framework for Using Generative AI for Handling Sparse Learner Performance Data From Intelligent Tutoring Systems [22.70004627901319]
本稿では, テンソル因子化と高次生成モデルを組み合わせた新しいアプローチである3DGフレームワーク(デンシフィケーション・アンド・ジェネレーション用3次元テンソル)を紹介する。このフレームワークは、学習性能のスケーラブルでパーソナライズされたシミュレーションを効果的に生成した。
論文参考訳（メタデータ） (2024-01-29T22:34:01Z)
Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
我々はGeneInputという新しい生成入力パラダイムを提案する。すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
論文参考訳（メタデータ） (2023-11-02T12:01:29Z)
GLoRE: Evaluating Logical Reasoning of Large Language Models [29.914546407784552]
GLoREは3種類のタスクにまたがる12のデータセットからなるベンチマークである。 ChatGPTとGPT-4は論理的推論の強い能力を示し、GPT-4はChatGPTをはるかに上回っている。本稿では,ChatGPTの精度を高める自己整合性探索法と,オープンLLMの性能を向上させる微調整法を提案する。
論文参考訳（メタデータ） (2023-10-13T13:52:15Z)
The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。 GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。 GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
論文参考訳（メタデータ） (2023-09-29T17:34:51Z)
Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
論文参考訳（メタデータ） (2023-03-22T16:51:28Z)
GPT-4 Technical Report [116.90398195245983]
GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
論文参考訳（メタデータ） (2023-03-15T17:15:04Z)
On the Marginal Benefit of Active Learning: Does Self-Supervision Eat Its Cake? [31.563514432259897]
本稿では,自己指導型事前学習,能動的学習,一貫性型自己学習を統合した新しい枠組みを提案する。 i) 自己指導型事前学習は、特に少数レーベル体制において、セミ教師付き学習を大幅に改善する。我々は、最先端のS4L技術と組み合わせることで、最先端のアクティブな学習アルゴリズムのさらなるメリットを観察できない。
論文参考訳（メタデータ） (2020-11-16T17:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。