論文の概要: Efficient Classification of Student Help Requests in Programming Courses Using Large Language Models

• arxiv url: http://arxiv.org/abs/2310.20105v1
• Date: Tue, 31 Oct 2023 00:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 17:00:06.503485
• Title: Efficient Classification of Student Help Requests in Programming Courses Using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたプログラミングコースにおける学生支援要求の効率的な分類
• Authors: Jaromir Savelka, Paul Denny, Mark Liffiton, Brad Sheese
• Abstract要約: 本研究では,GPT-3.5 モデルと GPT-4 モデルを用いて,導入プログラミングクラスにおける学生のヘルプ要求の分類を行った。 GPT-3.5モデルの微調整により性能が向上し、2人のラッカー間で観察されたカテゴリ間の精度と一貫性が近似された。
• 参考スコア（独自算出の注目度）: 2.5949084781328744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The accurate classification of student help requests with respect to the type of help being sought can enable the tailoring of effective responses. Automatically classifying such requests is non-trivial, but large language models (LLMs) appear to offer an accessible, cost-effective solution. This study evaluates the performance of the GPT-3.5 and GPT-4 models for classifying help requests from students in an introductory programming class. In zero-shot trials, GPT-3.5 and GPT-4 exhibited comparable performance on most categories, while GPT-4 outperformed GPT-3.5 in classifying sub-categories for requests related to debugging. Fine-tuning the GPT-3.5 model improved its performance to such an extent that it approximated the accuracy and consistency across categories observed between two human raters. Overall, this study demonstrates the feasibility of using LLMs to enhance educational systems through the automated classification of student needs.
• Abstract（参考訳）: 求めている援助の種類に関する学生支援要求の正確な分類は、効果的な対応の調整を可能にする。 このような要求を自動的に分類するのは簡単ではないが、大きな言語モデル(LLM)はアクセス可能で費用対効果の高いソリューションを提供するように見える。 本研究は,GPT-3.5およびGPT-4モデルを用いて,導入プログラミングクラスにおける学生のヘルプ要求の分類を行った。 ゼロショット試験では、GPT-3.5とGPT-4は、ほとんどのカテゴリで同等のパフォーマンスを示し、GPT-4は、デバッグに関連するリクエストのサブカテゴリの分類において、GPT-3.5を上回った。 GPT-3.5モデルの微調整により性能が向上し、2人のラッカー間で観察されたカテゴリ間の精度と一貫性が近似された。 本研究は、学生ニーズの自動分類を通じて、LLMを用いて教育システムを強化する可能性を示す。

関連論文リスト

• Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions [2.0411082897313984]
  本研究では, LLM, 特に GPT-3.5 と GPT-4 が, グレード9の算数に適した質問をいかに展開できるかを検討する。 反復的手法を用いることで、これらのモデルは、シミュレーションされた「学生」モデルからのフィードバックに応じて、難易度と内容に基づいて質問を調整する。
  論文  参考訳（メタデータ） (2024-06-20T00:25:43Z)
• How Can I Improve? Using GPT to Highlight the Desired and Undesired Parts of Open-ended Responses [11.809647985607935]
  提案手法は,説明的フィードバックを提供する上で,望ましい,望ましくないコンポーネントを識別することに焦点を当てたシーケンスラベリング手法を提案する。 GPTモデルにより同定された強調された賞賛成分の品質を定量化するため,M-IoU(Modified Intersection over Union)スコアを導入した。 以上の結果から,(1)M-IoUスコアはシーケンス品質評価における人的判断と効果的に相関し,(2)GPT-3.5上での2ショットプロンプトは,努力に基づく評価と成果に基づく評価の認識において良好な性能を示し,(3)M-IoUスコアの0.6が最適微調整GPT-3.5モデルであった。
  論文  参考訳（メタデータ） (2024-05-01T02:59:10Z)
• Exploiting GPT-4 Vision for Zero-shot Point Cloud Understanding [114.4754255143887]
  私たちは、ポイントクラウドでオブジェクトカテゴリを分類する課題に取り組みます。 我々はこれらの課題を克服するためにGPT-4 Vision (GPT-4V) を用いる。 ゼロショットポイントクラウド分類の新しいベンチマークを設定しました。
  論文  参考訳（メタデータ） (2024-01-15T10:16:44Z)
• Which AI Technique Is Better to Classify Requirements? An Experiment with SVM, LSTM, and ChatGPT [0.4588028371034408]
  本稿では,要求分類のための2つのChatGPTモデルの実証評価を報告する。 以上の結果から,全ての要件クラスに最適なテクニックは存在しないことが明らかとなった。 少数ショット設定は、主にゼロショット結果が著しく低いシナリオで有用であることが判明した。
  論文  参考訳（メタデータ） (2023-11-20T05:55:05Z)
• Investigating the Limitation of CLIP Models: The Worst-Performing Categories [53.360239882501325]
  コントラスト言語-画像事前学習(CLIP)は、自然言語を視覚概念に統合する基礎モデルを提供する。 通常、十分に設計されたテキストプロンプトによって、多くの領域で満足な全体的な精度が達成できると期待されている。 しかし、最悪のカテゴリにおけるパフォーマンスは、全体的なパフォーマンスよりも著しく劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T05:37:33Z)
• Performance of the Pre-Trained Large Language Model GPT-4 on Automated Short Answer Grading [0.0]
  SciEntsBank と Beetle の標準ベンチマーク2-way および 3-way データセットにおける GPT-4 の性能について検討した。 プレトレーニングされた汎用GPT-4 LLMの性能は手技のモデルに匹敵するが,専門訓練を施したLLMよりは劣ることがわかった。
  論文  参考訳（メタデータ） (2023-09-17T18:04:34Z)
• Stay on topic with Classifier-Free Guidance [57.28934343207042]
  CFGは純粋言語モデリングにおける推論時手法として広く利用できることを示す。 CFG は Pythia, GPT-2 および LLaMA ファミリーモデルの性能をタスクの配列にわたって改善することを示す。
  論文  参考訳（メタデータ） (2023-06-30T17:07:02Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
  本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。 その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。 GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
  論文  参考訳（メタデータ） (2021-09-16T09:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。