論文の概要: Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences

• arxiv url: http://arxiv.org/abs/2405.04645v2
• Date: Sat, 11 May 2024 17:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 20:52:15.513696
• Title: Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences
• Title（参考訳）: LLMに基づくフィードバックの強化:知的学習システムと学習科学からの洞察
• Authors: John Stamper, Ruiwei Xiao, Xinying Hou,
• Abstract要約: この研究は、ITSのフィードバック生成に関する以前の研究を通し、AIEDの研究を慎重に支援するものである。 本論文の主な貢献は次のとおりである。 生成AIの時代におけるフィードバック生成において、より慎重で理論的に基礎付けられた手法を適用すること。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of Artificial Intelligence in Education (AIED) focuses on the intersection of technology, education, and psychology, placing a strong emphasis on supporting learners' needs with compassion and understanding. The growing prominence of Large Language Models (LLMs) has led to the development of scalable solutions within educational settings, including generating different types of feedback in Intelligent Tutoring Systems. However, the approach to utilizing these models often involves directly formulating prompts to solicit specific information, lacking a solid theoretical foundation for prompt construction and empirical assessments of their impact on learning. This work advocates careful and caring AIED research by going through previous research on feedback generation in ITS, with emphasis on the theoretical frameworks they utilized and the efficacy of the corresponding design in empirical evaluations, and then suggesting opportunities to apply these evidence-based principles to the design, experiment, and evaluation phases of LLM-based feedback generation. The main contributions of this paper include: an avocation of applying more cautious, theoretically grounded methods in feedback generation in the era of generative AI; and practical suggestions on theory and evidence-based feedback design for LLM-powered ITS.
• Abstract（参考訳）: 人工知能・イン・エデュケーション(AIED)の分野は、テクノロジー、教育、心理学の共通点に焦点を当て、思いやりと理解による学習者のニーズ支援に重点を置いている。 LLM(Large Language Models)の普及は、Intelligent Tutoring Systemsでさまざまなタイプのフィードバックを生成することを含む、教育環境におけるスケーラブルなソリューションの開発につながった。 しかし、これらのモデルを活用するためのアプローチは、しばしば特定の情報を引き出すための直接的なプロンプトを定式化し、それらが学習に与える影響を迅速に構築し実証的な評価を行うためのしっかりとした理論的基盤を欠いている。 この研究は、ITSにおけるフィードバック生成に関する以前の研究を通し、それらが利用した理論的な枠組みと、それに対応する設計の有効性を実証的な評価で強調し、これらのエビデンスに基づく原則をLLMベースのフィードバック生成の設計、実験、評価フェーズに適用する機会を提案する。 本稿の主な貢献は, 生成AI時代のフィードバック生成において, より慎重で理論的に根ざした手法を適用すること, および LLM を利用した ITS の理論とエビデンスに基づくフィードバック設計に関する実践的提案である。

関連論文リスト

• Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
  この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。 革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。 LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-18T08:01:20Z)
• RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs [49.386699863989335]
  大きな言語モデル(LLM)を訓練し、人間の効果的なアシスタントとして機能させるには、慎重に検討する必要がある。 有望なアプローチとして、人間からのフィードバック(RLHF)からの強化学習がある。 本稿では、強化学習原理のレンズを通してRLHFを分析し、その基礎を理解する。
  論文  参考訳（メタデータ） (2024-04-12T15:54:15Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.454656183053655]
  我々は23の最先端のLarge Language Modelsベンチマークを批判的に評価する。 私たちの研究は、偏見、真の推論を測ることの難しさなど、重大な制限を発見しました。 静的ベンチマークから動的行動プロファイリングへの進化を提唱する。
  論文  参考訳（メタデータ） (2024-02-15T11:08:10Z)
• EpiK-Eval: Evaluation for Language Models as Epistemic Models [16.485951373967502]
  セグメンテッドな物語から一貫した知識表現を定式化する上で,LLMの習熟度を評価するための新しい質問答えベンチマークであるEpiK-Evalを紹介する。 これらの欠点は、一般的な訓練目的の本質的な性質に起因していると論じる。 本研究の成果は,より堅牢で信頼性の高いLCMを開発する上での洞察を与えるものである。
  論文  参考訳（メタデータ） (2023-10-23T21:15:54Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。 また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
  大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。 我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-07-05T06:03:40Z)
• Scaling Evidence-based Instructional Design Expertise through Large Language Models [0.0]
  本稿では,大規模言語モデル(LLM),特にGPT-4を教育設計の分野で活用することを検討する。 本研究は,エビデンスに基づく教育設計の専門知識のスケールアップに着目し,理論教育学と実践実践のギャップを埋めることを目的としている。 我々は,AIによるコンテンツ生成のメリットと限界について論じ,教育資料の品質確保に人的監督が必要であることを強調した。
  論文  参考訳（メタデータ） (2023-05-31T17:54:07Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。