論文の概要: Towards Adaptive Feedback with AI: Comparing the Feedback Quality of LLMs and Teachers on Experimentation Protocols

• arxiv url: http://arxiv.org/abs/2502.12842v1
• Date: Tue, 18 Feb 2025 13:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:08.652120
• Title: Towards Adaptive Feedback with AI: Comparing the Feedback Quality of LLMs and Teachers on Experimentation Protocols
• Title（参考訳）: AIによる適応的フィードバック : 実験プロトコルにおけるLLMと教師のフィードバック品質の比較
• Authors: Kathrin Seßler, Arne Bewersdorff, Claudia Nerdel, Enkelejda Kasneci,
• Abstract要約: 本研究では,大規模言語モデル(LLM)のフィードバック品質を,人間教師や理科教育専門家のフィードバック品質と比較した。 その結果,LLMによるフィードバックは,教師や専門家の全体的な品質に有意な差は認められなかった。
• 参考スコア（独自算出の注目度）: 8.71931996488953
• License:
• Abstract: Effective feedback is essential for fostering students' success in scientific inquiry. With advancements in artificial intelligence, large language models (LLMs) offer new possibilities for delivering instant and adaptive feedback. However, this feedback often lacks the pedagogical validation provided by real-world practitioners. To address this limitation, our study evaluates and compares the feedback quality of LLM agents with that of human teachers and science education experts on student-written experimentation protocols. Four blinded raters, all professionals in scientific inquiry and science education, evaluated the feedback texts generated by 1) the LLM agent, 2) the teachers and 3) the science education experts using a five-point Likert scale based on six criteria of effective feedback: Feed Up, Feed Back, Feed Forward, Constructive Tone, Linguistic Clarity, and Technical Terminology. Our results indicate that LLM-generated feedback shows no significant difference to that of teachers and experts in overall quality. However, the LLM agent's performance lags in the Feed Back dimension, which involves identifying and explaining errors within the student's work context. Qualitative analysis highlighted the LLM agent's limitations in contextual understanding and in the clear communication of specific errors. Our findings suggest that combining LLM-generated feedback with human expertise can enhance educational practices by leveraging the efficiency of LLMs and the nuanced understanding of educators.
• Abstract（参考訳）: 科学的調査における学生の成功を促進するためには,効果的なフィードバックが不可欠である。 人工知能の進歩により、大規模言語モデル(LLM)は、即時かつ適応的なフィードバックを提供する新しい可能性を提供する。 しかし、このフィードバックは現実の実践者が提供した教育的な検証を欠いていることが多い。 この制限に対処するため,本研究では,LLMエージェントのフィードバック品質を,学生による実験プロトコルに関する人間教師や理科教育専門家のフィードバック品質と比較した。 科学的調査と科学教育の専門職である4人のブラインドレイターが、フィードバックテキストの評価を行った。 1) LLM エージェント。 2【教師・教師】 3) 理科教育の専門家は, フィードバックの有効基準として, フィードアップ, フィードバックバック, フィードフォワード, コンストラクティブトーン, 言語的明瞭度, 技術的ターミノロジーの6つを基準として, 5点様の尺度を用いた。 その結果,LLMによるフィードバックは,教師や専門家の全体的な品質に有意な差は認められなかった。 しかしながら、LLMエージェントのパフォーマンスラグは、学生の作業コンテキスト内のエラーを特定し、説明することを含むフィードバックディメンションにある。 質的な分析は、文脈的理解と特定のエラーの明確なコミュニケーションにおけるLLMエージェントの限界を強調した。 本研究は, LLMの効率と教育者の微妙な理解を活かして, LLM生成フィードバックと人間の専門知識を組み合わせることで, 教育実践の促進を図っている。

関連論文リスト

• Automated Assignment Grading with Large Language Models: Insights From a Bioinformatics Course [0.0]
  自然言語処理と大規模言語モデル(LLM)は、パーソナライズされたフィードバックの効率的な配信を可能にすることで、有望なソリューションを提供する。 自然言語処理と大規模言語モデル(LLM)の最近の進歩は、パーソナライズされたフィードバックの効率的な配信を可能にすることによって、有望なソリューションを提供する。 提案手法により,LLMは人間の評価値に匹敵する評価精度とフィードバック品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-01-24T13:59:14Z)
• Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
  LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。 ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。 次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
  論文  参考訳（メタデータ） (2024-11-29T12:21:15Z)
• Learning from Committee: Reasoning Distillation from a Mixture of Teachers with Peer-Review [11.756344944226495]
  ピアリビュー(FAIR)アプローチによる新しいフォールト・アウェア・ディストイレーション(Fact-Aware DistIllation)を導入する。 本手法は,教師から合理性を得るのではなく,教師に生徒の過ちを特定・説明するよう求めている。
  論文  参考訳（メタデータ） (2024-10-04T17:59:41Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Finding Blind Spots in Evaluator LLMs with Interpretable Checklists [23.381287828102995]
  テキスト生成タスクにおける評価器として,Large Language Models (LLMs) の有効性を検討する。 我々は,4つの重要な能力を評価する上で,評価用LLMの習熟度を評価するための新しいフレームワークであるFBIを提案する。
  論文  参考訳（メタデータ） (2024-06-19T10:59:48Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception [19.335003380399527]
  大規模言語モデル(LLM)は、その教育的有用性を探求する研究の増加とともに、有望な道を提供する。 本研究は,LLM支援学習環境の形成において,教師が果たす役割を強調した。
  論文  参考訳（メタデータ） (2023-10-13T01:21:52Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。