論文の概要: Supporting Self-Reflection at Scale with Large Language Models: Insights from Randomized Field Experiments in Classrooms

• arxiv url: http://arxiv.org/abs/2406.07571v1
• Date: Sat, 1 Jun 2024 02:41:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-23 13:45:35.953030
• Title: Supporting Self-Reflection at Scale with Large Language Models: Insights from Randomized Field Experiments in Classrooms
• Title（参考訳）: 大規模言語モデルによる大規模自己回帰支援:教室におけるランダムフィールド実験から
• Authors: Harsh Kumar, Ruiwei Xiao, Benjamin Lawson, Ilya Musabirov, Jiakai Shi, Xinyuan Wang, Huayin Luo, Joseph Jay Williams, Anna Rafferty, John Stamper, Michael Liut,
• Abstract要約: 本研究では,大規模言語モデル (LLMs) が学生の反省会後リフレクションに役立てる可能性について検討する。 大学コンピュータサイエンス科でランダムフィールド実験を2回行った。
• 参考スコア（独自算出の注目度）: 7.550701021850185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-reflection on learning experiences constitutes a fundamental cognitive process, essential for the consolidation of knowledge and the enhancement of learning efficacy. However, traditional methods to facilitate reflection often face challenges in personalization, immediacy of feedback, engagement, and scalability. Integration of Large Language Models (LLMs) into the reflection process could mitigate these limitations. In this paper, we conducted two randomized field experiments in undergraduate computer science courses to investigate the potential of LLMs to help students engage in post-lesson reflection. In the first experiment (N=145), students completed a take-home assignment with the support of an LLM assistant; half of these students were then provided access to an LLM designed to facilitate self-reflection. The results indicated that the students assigned to LLM-guided reflection reported increased self-confidence and performed better on a subsequent exam two weeks later than their peers in the control condition. In the second experiment (N=112), we evaluated the impact of LLM-guided self-reflection against other scalable reflection methods, such as questionnaire-based activities and review of key lecture slides, after assignment. Our findings suggest that the students in the questionnaire and LLM-based reflection groups performed equally well and better than those who were only exposed to lecture slides, according to their scores on a proctored exam two weeks later on the same subject matter. These results underscore the utility of LLM-guided reflection and questionnaire-based activities in improving learning outcomes. Our work highlights that focusing solely on the accuracy of LLMs can overlook their potential to enhance metacognitive skills through practices such as self-reflection. We discuss the implications of our research for the Edtech community.
• Abstract（参考訳）: 学習経験における自己回帰は、知識の統合と学習効率の向上に不可欠な、基本的な認知過程を構成する。 しかしながら、リフレクションを促進する従来の手法は、パーソナライゼーション、フィードバックの即時性、エンゲージメント、スケーラビリティといった課題に直面していることが多い。 大規模な言語モデル(LLM)をリフレクションプロセスに統合することで、これらの制限を緩和することができる。 本稿では,大学院コンピュータ科学科におけるランダムフィールド実験を2回実施し,LLMの潜在可能性について検討した。 最初の実験(N=145)では、学生はLLMアシスタントの支援で在宅勤務を完了し、その半数は自己反映を促進するために設計されたLLMへのアクセスを提供した。 その結果, LLM指導の学生は, 自尊心が増し, 2週間後の受験成績がコントロール条件の仲間よりも良好であることが示唆された。 第2実験(N=112)では,LLM誘導の自己反射が,質問紙による活動や重要な講義スライドのレビューなど,他の拡張性のある反射法に対して与える影響について検討した。 その結果,2週間後の受験試験の結果から,授業スライドのみに曝露した学生よりも,質問紙調査とLLMベースの反射群が同等に良好な成績を示したことが示唆された。 これらの結果は,LLM指導によるリフレクションと,学習成果改善のための質問紙による活動の有用性を裏付けるものである。 我々の研究は、LLMの正確性にのみ焦点をあてることで、自己回帰のような実践を通じてメタ認知能力を高める可能性を見落としることができることを強調している。 本研究がEdtechコミュニティにもたらす意味について論じる。

関連論文リスト

• LLMs Could Autonomously Learn Without External Supervision [36.36147944680502]
  大規模言語モデル(LLM)は、伝統的に人間の注釈付きデータセットと事前定義されたトレーニング目標に結び付けられてきた。 本稿では,LLMのための自律学習手法を提案する。 本手法は, LLMに対して, 文章と直接対話して自己学習を行う能力を与える。
  論文  参考訳（メタデータ） (2024-06-02T03:36:37Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
  評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。 本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。 これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
  論文  参考訳（メタデータ） (2024-03-22T14:47:35Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)
• PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
  既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。 ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-28T12:33:14Z)
• Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception [19.335003380399527]
  大規模言語モデル(LLM)は、その教育的有用性を探求する研究の増加とともに、有望な道を提供する。 本研究は,LLM支援学習環境の形成において,教師が果たす役割を強調した。
  論文  参考訳（メタデータ） (2023-10-13T01:21:52Z)
• Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
  LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。 生成したコンテンツの正確性と適切性に関する懸念が続いている。 現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
  論文  参考訳（メタデータ） (2023-10-03T04:56:12Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Learning from Mistakes via Cooperative Study Assistant for Large Language Models [17.318591492264023]
  大規模言語モデル(LLM)は、自身のフィードバックに基づいて、その世代を洗練させる可能性を実証している。 SALAM(Studio Assistant for Large Language Model)は,ミスから学習する上で,主要なLLMを支援するための補助エージェントを備えた新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-05-23T08:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。