論文の概要: Large Language Models for Education: Grading Open-Ended Questions Using
ChatGPT
- arxiv url: http://arxiv.org/abs/2307.16696v2
- Date: Tue, 1 Aug 2023 14:51:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 15:49:53.561610
- Title: Large Language Models for Education: Grading Open-Ended Questions Using
ChatGPT
- Title（参考訳）: 教育用大規模言語モデル:ChatGPTを用いたオープンエンディング質問
- Authors: Gustavo Pinto and Isadora Cardoso-Pereira and Danilo Monteiro Ribeiro
and Danilo Lucena and Alberto de Souza and Kiev Gama
- Abstract要約: 本研究は,Large Language Models (LLMs) を用いて,技術訓練におけるオープンエンド質問の修正プロセスを支援することを提案する。
本研究では,ChatGPTを用いて,42人の業界専門家が回答したオープンエンドの質問を2つのトピックで修正した。
一般論として,ChatGPTの補正やフィードバックに同意する傾向が見られた。
- 参考スコア（独自算出の注目度）: 5.357436262604194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a way of addressing increasingly sophisticated problems, software
professionals face the constant challenge of seeking improvement. However, for
these individuals to enhance their skills, their process of studying and
training must involve feedback that is both immediate and accurate. In the
context of software companies, where the scale of professionals undergoing
training is large, but the number of qualified professionals available for
providing corrections is small, delivering effective feedback becomes even more
challenging. To circumvent this challenge, this work presents an exploration of
using Large Language Models (LLMs) to support the correction process of
open-ended questions in technical training. In this study, we utilized ChatGPT
to correct open-ended questions answered by 42 industry professionals on two
topics. Evaluating the corrections and feedback provided by ChatGPT, we
observed that it is capable of identifying semantic details in responses that
other metrics cannot observe. Furthermore, we noticed that, in general, subject
matter experts tended to agree with the corrections and feedback given by
ChatGPT.
- Abstract（参考訳）: ますます高度な問題に対処する方法として、ソフトウェア専門家は改善を求めるという絶え間ない課題に直面しています。
しかしながら、これらの個人がスキルを向上させるためには、学習とトレーニングのプロセスには、即時かつ正確なフィードバックが必要となる。
ソフトウェア企業のコンテキストでは、トレーニングを行うプロフェッショナルの規模が大きくなるが、修正を行う資格のあるプロフェッショナルの数は少なく、効果的なフィードバックを提供するのはさらに困難になる。
この課題を回避するため,本研究では,オープンエンド質問の修正プロセスを支援するための大規模言語モデル(llm)の探索を行った。
本研究では,ChatGPTを用いて,42人の業界専門家が回答したオープンエンドの質問を2つのトピックで修正した。
また,ChatGPTが提供した補正やフィードバックを評価し,他のメトリクスが観察できない応答のセマンティックな詳細を識別できることを示した。
さらに, 一般論として, 主題の専門家は, chatgpt による修正やフィードバックに同意する傾向にあった。
関連論文リスト
- Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳（メタデータ） (2023-08-06T18:38:52Z) - Does Correction Remain A Problem For Large Language Models? [63.24433996856764]
本稿では,2つの実験を行ない,大規模言語モデルの文脈における補正の役割について検討する。
最初の実験では、誤り訂正のためのGPTのようなモデルを用いた数発の学習技術を用いて、単独のタスクとしての修正に焦点を当てた。
第2の実験では、あるレベルのノイズや誤りを含むテキストに対して、大きな言語モデルが許容し、適切に実行可能であるかどうかを検証し、他のNLPタスクの予備タスクとしての補正の概念について検討した。
論文 参考訳（メタデータ） (2023-08-03T14:09:31Z) - Extending the Frontier of ChatGPT: Code Generation and Debugging [0.0]
OpenAIが開発したChatGPTは,さまざまな問題領域に取り組むために人工知能(AI)を活用することによって,新たな時代を迎えている。
本稿では,ChatGPTのプログラミング問題に対する有効性について検討し,時間とメモリの複雑さの観点から,その解の正しさと効率性について検討する。
この研究は、ChatGPTが正しいソリューションを提供することができた問題の割合を示すため、総成功率は71.875%であることを示した。
論文 参考訳（メタデータ） (2023-07-17T06:06:58Z) - Evaluating ChatGPT's Decimal Skills and Feedback Generation in a Digital
Learning Game [0.6999740786886535]
ChatGPTは概念的問題によく対応できるが、十進的な位置値と数列問題に苦慮している。
学生の回答の75%の正しさを正確に評価し,全般的に高品質なフィードバックが得られた。
論文 参考訳（メタデータ） (2023-06-29T02:28:09Z) - ChatGPT is a Remarkable Tool -- For Experts [9.46644539427004]
生産性の向上,問題解決プロセスの合理化,書き込みスタイルの改善など,ChatGPTの可能性を探究する。
これらの分野では、ChatGPTへの過度な依存に関連する潜在的なリスクを強調します。
われわれはChatGPTが有益であることを証明した分野と目的、ChatGPTを法的に使用するべきアプリケーション、信頼性が制限されるシナリオについて概説する。
論文 参考訳（メタデータ） (2023-06-02T06:28:21Z) - Transformative Effects of ChatGPT on Modern Education: Emerging Era of
AI Chatbots [36.760677949631514]
ChatGPTは、大量のデータの分析に基づいて、一貫性と有用な応答を提供するためにリリースされた。
予備評価の結果,ChatGPTは財務,コーディング,数学など各分野において異なる性能を示した。
不正確なデータや偽データを生成する可能性など、その使用には明らかな欠点がある。
ChatGPTを教育のツールとして使用すれば、学術的規制と評価のプラクティスを更新する必要がある。
論文 参考訳（メタデータ） (2023-05-25T17:35:57Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking
about [15.19126287569545]
本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。
この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。
調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
論文 参考訳（メタデータ） (2023-04-06T18:42:47Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。