論文の概要: ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs)
- arxiv url: http://arxiv.org/abs/2312.09801v2
- Date: Wed, 1 May 2024 08:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 20:11:13.562540
- Title: ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs)
- Title（参考訳）: ProCoT:大規模言語モデル(LLM)による学生の批判的思考と書き込みの促進
- Authors: Tosin Adewumi, Lama Alkhaled, Claudia Buck, Sergio Hernandez, Saga Brilioth, Mkpe Kekung, Yelvin Ragimov, Elisa Barney,
- Abstract要約: 我々はProCoT(Probing Chain-of-Thought)と呼ばれる新しい筆記法を導入する。
学生がLarge Language Model(LLM)を使って浮気することを防ぐかもしれない
65名の学生を対象に,ProCoTを用いて2つのコースで研究を行った。
- 参考スコア（独自算出の注目度）: 0.7545833157486899
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel writing method called Probing Chain-of-Thought (ProCoT), which potentially prevents students from cheating using a Large Language Model (LLM), such as ChatGPT, while enhancing their active learning. LLMs have disrupted education and many other fields. For fear of students cheating, many have resorted to banning their use. These LLMs are also known for hallucinations. We conduct studies with ProCoT in two different courses with 65 students. The students in each course were asked to prompt an LLM of their choice with one question from a set of four and required to affirm or refute statements in the LLM output by using peer-reviewed references. The results show two things: (1) ProCoT stimulates creative/critical thinking and writing of students through engagement with LLMs when we compare the LLM-only output to ProCoT output and (2) ProCoT can prevent cheating because of clear limitations in existing LLMs, particularly ChatGPT, when we compare students' ProCoT output to LLM ProCoT output. We also discover that most students prefer to give answers in fewer words than LLMs, which are typically verbose. The average word counts for students in the first course, ChatGPT (v3.5), and Phind (v8) are 208, 391 and 383, respectively.
- Abstract（参考訳）: 本稿では,ProCoT(Probing Chain-of-Thought)と呼ばれる,ChatGPT(Large Language Model, LLM)を用いた学生の不正行為を防止し,能動的学習の強化を図る。
LLMは教育や他の多くの分野を混乱させてきた。
学生が騙されるのを恐れて、多くの人々は使用を禁止した。
これらのLSMは幻覚としても知られている。
65名の学生を対象に,ProCoTを用いて2つのコースで研究を行った。
各コースの学生は、4組の集合から1問の質問をLCMに促し、ピアレビューされた基準を用いてLPM出力のステートメントを肯定・否定するよう求められた。
その結果,(1)ProCoTは,lLMのみの出力とProCoTの出力とを比較して学生の創造的・批判的思考と文章作成を刺激し,(2)ProCoTは既存のLLM,特にChatGPTの出力とLLMのProCoTの出力とを比較して不正行為を防止できることがわかった。
また、ほとんどの学生は、通常冗長である LLM よりも少ない単語で回答することを好む。
最初のコースの生徒の平均語数は、ChatGPT (v3.5) と Phind (v8) はそれぞれ208, 391, 383である。
関連論文リスト
- Substance Beats Style: Why Beginning Students Fail to Code with LLMs [3.4817709155395327]
既存の作業は、初心者がLLMにテキストからコードへのタスクの解決を促すのに苦労していることを示している。
本稿では,学生のLLM誤信の原因について,競合する2つの仮説を考察する。
論文 参考訳（メタデータ） (2024-10-15T20:36:30Z) - CS1-LLM: Integrating LLMs into CS1 Instruction [0.6282171844772422]
本経験報告では,大規模言語モデルを完全に取り入れた大規模大学におけるCS1コースについて述べる。
LLMを組み込むため、コースは意図的に変更され、シンタックスやコードの記述がスクラッチから強調されるようになった。
学生は3つの異なる領域に3つの大きなオープンエンドプロジェクトを与えられ、彼らの創造性を誇示した。
論文 参考訳（メタデータ） (2024-04-17T14:44:28Z) - GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。
本稿では,LLMの競合環境における推論能力について検討する。
まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
論文 参考訳（メタデータ） (2024-02-19T18:23:36Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳（メタデータ） (2024-02-17T05:22:56Z) - Can Separators Improve Chain-of-Thought Prompting? [10.398343318429367]
CoTプロンプトは大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である
人間の認知にインスパイアされたCOT-SEP(COT-SEP)は,CoTプロンプトにおける各指数の最後にセパレータを戦略的に採用する手法である。
論文 参考訳（メタデータ） (2024-02-16T12:46:16Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。
ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。
数学的推論とコモンセンス推論の実験を行う。
論文 参考訳（メタデータ） (2023-11-22T17:24:21Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳（メタデータ） (2023-11-07T18:43:34Z) - Exploring the Responses of Large Language Models to Beginner
Programmers' Help Requests [1.8260333137469122]
大規模言語モデル(LLM)が、学生が助けを求める問題のあるコードの問題を特定するのにいかに優れているかを評価する。
オンラインプログラミングコースからヘルプリクエストとコードのサンプルを収集しました。
論文 参考訳（メタデータ） (2023-06-09T07:19:43Z) - StudentEval: A Benchmark of Student-Written Prompts for Large Language
Models of Code [2.087827281461409]
StudentEvalには48の問題に対して1,749のプロンプトが含まれており、Pythonプログラミングの1学期しか完了していない80人の学生によって書かれた。
本研究は,学生のプロンプトを解析し,学生のプロンプト技術に有意な変化を見出した。
論文 参考訳（メタデータ） (2023-06-07T16:03:55Z) - Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか?
LLMの事実知識を評価する統計的手法であるKaRRを提案する。
この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文 参考訳（メタデータ） (2023-05-17T18:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。