論文の概要: Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences
- arxiv url: http://arxiv.org/abs/2405.04645v1
- Date: Tue, 7 May 2024 20:09:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-09 15:54:51.494840
- Title: Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences
- Title（参考訳）: LLMに基づくフィードバックの強化:知的学習システムと学習科学からの洞察
- Authors: John Stamper, Ruiwei Xiao, Xinynig Hou,
- Abstract要約: この研究は、ITSのフィードバック生成に関する以前の研究を通し、AIEDの研究を慎重に支援するものである。
本論文の主な貢献は次のとおりである。 生成AIの時代におけるフィードバック生成において、より慎重で理論的に基礎付けられた手法を適用すること。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of Artificial Intelligence in Education (AIED) focuses on the intersection of technology, education, and psychology, placing a strong emphasis on supporting learners' needs with compassion and understanding. The growing prominence of Large Language Models (LLMs) has led to the development of scalable solutions within educational settings, including generating different types of feedback in Intelligent Tutoring Systems. However, the approach to utilizing these models often involves directly formulating prompts to solicit specific information, lacking a solid theoretical foundation for prompt construction and empirical assessments of their impact on learning. This work advocates careful and caring AIED research by going through previous research on feedback generation in ITS, with emphasis on the theoretical frameworks they utilized and the efficacy of the corresponding design in empirical evaluations, and then suggesting opportunities to apply these evidence-based principles to the design, experiment, and evaluation phases of LLM-based feedback generation. The main contributions of this paper include: an avocation of applying more cautious, theoretically grounded methods in feedback generation in the era of generative AI; and practical suggestions on theory and evidence-based feedback design for LLM-powered ITS.
- Abstract（参考訳）: 人工知能・イン・エデュケーション(AIED)の分野は、テクノロジー、教育、心理学の共通点に焦点を当て、思いやりと理解による学習者のニーズ支援に重点を置いている。
LLM(Large Language Models)の普及は、Intelligent Tutoring Systemsでさまざまなタイプのフィードバックを生成することを含む、教育環境におけるスケーラブルなソリューションの開発につながった。
しかし、これらのモデルを活用するためのアプローチは、しばしば特定の情報を引き出すための直接的なプロンプトを定式化し、それらが学習に与える影響を迅速に構築し実証的な評価を行うためのしっかりとした理論的基盤を欠いている。
この研究は、ITSにおけるフィードバック生成に関する以前の研究を通し、それらが利用した理論的な枠組みと、それに対応する設計の有効性を実証的な評価で強調し、これらのエビデンスに基づく原則をLLMベースのフィードバック生成の設計、実験、評価フェーズに適用する機会を提案する。
本稿の主な貢献は, 生成AI時代のフィードバック生成において, より慎重で理論的に根ざした手法を適用すること, および LLM を利用した ITS の理論とエビデンスに基づくフィードバック設計に関する実践的提案である。
関連論文リスト
- A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models [0.0]
本稿では,厳密な心理測定原理に基づくベンチマーク開発への包括的アプローチを提案する。
我々は、教育と教育の分野で新しいベンチマークを作成することで、このアプローチを説明する最初の試みを行う。
我々はブルームの分類学によってガイドされ、テスト開発で訓練された教育専門家のコンソーシアムによって厳格に設計された新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2024-10-29T19:32:43Z) - Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。
実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。
本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
論文 参考訳（メタデータ） (2024-10-20T16:08:54Z) - GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - IDEA: Enhancing the Rule Learning Ability of Large Language Model Agent through Induction, Deduction, and Abduction [3.961279440272764]
RULEARNは,対話型環境下での大規模言語モデルのルール学習能力を評価するために設計された,新しいベンチマークである。
誘導, 誘引, アブダクションのプロセスを統合する新しい推論フレームワークであるIDEAを提案する。
5つの代表的なLCMを含むIDEAフレームワークの評価は,ベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-08-19T23:37:07Z) - Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。
革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。
LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-04-18T08:01:20Z) - RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs [49.386699863989335]
大きな言語モデル(LLM)を訓練し、人間の効果的なアシスタントとして機能させるには、慎重に検討する必要がある。
有望なアプローチとして、人間からのフィードバック(RLHF)からの強化学習がある。
本稿では、強化学習原理のレンズを通してRLHFを分析し、その基礎を理解する。
論文 参考訳（メタデータ） (2024-04-12T15:54:15Z) - Reasoning Abilities of Large Language Models: In-Depth Analysis on the Abstraction and Reasoning Corpus [4.569421189811511]
大規模言語モデル(LLM)の推論と文脈理解能力を評価する新しい手法を提案する。
思考仮説言語(LoTH:Logical Coherence, compositionality, Productivity)の3つの重要なコンポーネントに注目します。
実験の結果,LSMは推論能力を示す一方で,これらの3つの側面において,人間レベルの推論に遅れが生じることが判明した。
論文 参考訳（メタデータ） (2024-03-18T13:50:50Z) - Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。
本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。
ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
論文 参考訳（メタデータ） (2024-03-05T09:09:15Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳（メタデータ） (2023-10-12T09:55:45Z) - Scaling Evidence-based Instructional Design Expertise through Large
Language Models [0.0]
本稿では,大規模言語モデル(LLM),特にGPT-4を教育設計の分野で活用することを検討する。
本研究は,エビデンスに基づく教育設計の専門知識のスケールアップに着目し,理論教育学と実践実践のギャップを埋めることを目的としている。
我々は,AIによるコンテンツ生成のメリットと限界について論じ,教育資料の品質確保に人的監督が必要であることを強調した。
論文 参考訳（メタデータ） (2023-05-31T17:54:07Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳（メタデータ） (2020-05-13T04:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。