論文の概要: CSEPrompts: A Benchmark of Introductory Computer Science Prompts
- arxiv url: http://arxiv.org/abs/2404.02540v1
- Date: Wed, 3 Apr 2024 07:55:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:10:13.051512
- Title: CSEPrompts: A Benchmark of Introductory Computer Science Prompts
- Title(参考訳): CSE Prompts: コンピュータサイエンス入門のベンチマーク
- Authors: Nishat Raihan, Dhiman Goswami, Sadiya Sayara Chowdhury Puspo, Christian Newman, Tharindu Ranasinghe, Marcos Zampieri,
- Abstract要約: AI、機械学習、NLPの最近の進歩は、新しい世代のLarge Language Models(LLM)の開発に繋がった。
商業的応用により、この技術は一般大衆に利用できるようになったため、学術的および専門的な目的のために高品質なテキストを作成するためにLLMを使用することが可能である。
学校や大学は、学生によるAI生成コンテンツの利用の増加に気づいており、この新しい技術とその潜在的な誤用の影響を調査している。
- 参考スコア(独自算出の注目度): 11.665831944836118
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in AI, machine learning, and NLP have led to the development of a new generation of Large Language Models (LLMs) that are trained on massive amounts of data and often have trillions of parameters. Commercial applications (e.g., ChatGPT) have made this technology available to the general public, thus making it possible to use LLMs to produce high-quality texts for academic and professional purposes. Schools and universities are aware of the increasing use of AI-generated content by students and they have been researching the impact of this new technology and its potential misuse. Educational programs in Computer Science (CS) and related fields are particularly affected because LLMs are also capable of generating programming code in various programming languages. To help understand the potential impact of publicly available LLMs in CS education, we introduce CSEPrompts, a framework with hundreds of programming exercise prompts and multiple-choice questions retrieved from introductory CS and programming courses. We also provide experimental results on CSEPrompts to evaluate the performance of several LLMs with respect to generating Python code and answering basic computer science and programming questions.
- Abstract(参考訳): AI、機械学習、NLPの最近の進歩は、大量のデータに基づいて訓練され、しばしば数兆のパラメータを持つ新しい世代のLarge Language Models(LLM)の開発につながっている。
商用アプリケーション(例えばChatGPT)は、この技術を一般向けに提供し、学術的・専門的な目的のために高品質なテキストを作成するためにLLMを使用することを可能にした。
学校や大学は、学生によるAI生成コンテンツの利用の増加に気づいており、この新しい技術とその潜在的な誤用の影響を調査している。
コンピュータサイエンス(CS)および関連分野の教育プログラムは、LLMが様々なプログラミング言語でプログラムコードを生成することができるため、特に影響を受けている。
CS教育におけるLLMの潜在的影響を理解するために,CSEPromptsを紹介した。
また, CSE Prompts を用いて,Python コードの生成や基礎的なコンピュータ科学やプログラミング問題への回答に関して,いくつかの LLM の性能評価を行った。
関連論文リスト
- Let's Ask AI About Their Programs: Exploring ChatGPT's Answers To Program Comprehension Questions [2.377308748205625]
我々は,LLMが生成したコードから生成されたQLCに応答する,最先端のLCMの能力について検討する。
この結果から,現在最先端のLCMではプログラム作成やプログラム実行の追跡が可能であるが,初心者プログラマが記録した類似のエラーに容易に対応できることが示唆された。
論文 参考訳(メタデータ) (2024-04-17T20:37:00Z) - Analyzing LLM Usage in an Advanced Computing Class in India [1.6612806983579371]
既存の研究は主に、導入プログラミングの文脈における大規模言語モデル(LLM)の影響に焦点を当てている。
本研究は、先進的なコンピューティングコースにおいて、学生とLLM間の生の相互作用を包括的に分析する。
論文 参考訳(メタデータ) (2024-04-06T12:06:56Z) - QACP: An Annotated Question Answering Dataset for Assisting Chinese
Python Programming Learners [10.90557801193242]
本稿では,Python学習者を対象とした中国語質問・回答データセットを提案する。
オンラインプログラミング教育の有効性と品質を高めるために設計されている。
論文 参考訳(メタデータ) (2024-01-30T13:11:23Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳(メタデータ) (2023-07-05T06:03:40Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning
of Large Language Models [78.65241926912663]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳(メタデータ) (2023-05-23T17:51:52Z) - Automatically Generating CS Learning Materials with Large Language
Models [4.526618922750769]
大きな言語モデル(LLM)は、ソフトウェア開発者が自然言語のプロンプトに基づいてコードを生成することを可能にする。
LLMは、インストラクターが学習材料をスケールするのを手助けしながら、学生が新しい方法でコードと対話することを可能にする。
LLMはまた、学術的完全性、カリキュラム設計、ソフトウェア工学のキャリアに新しい意味を導入している。
論文 参考訳(メタデータ) (2022-12-09T20:37:44Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - What is it like to program with artificial intelligence? [10.343988028594612]
大規模言語モデルは、自然言語で表される様々な問題を解決するためにコードを生成することができる。
この技術はすでに、少なくとも1つの広く使用されているプログラミングエディタ拡張、GitHub Copilotで商用化されている。
我々は,大規模言語モデル(LLM支援プログラミング)を用いたプログラミングが,プログラマ支援の事前概念化とどのように似ており,異なるのかを考察する。
論文 参考訳(メタデータ) (2022-08-12T10:48:46Z) - The ILASP system for Inductive Learning of Answer Set Programs [79.41112438865386]
我々のシステムは、通常の規則、選択規則、厳しい制約を含むアンサーセットプログラムを学習する。
まず、ILASPの学習フレームワークとその機能の概要を説明します。
続いて、ILASPシステムの進化を概観する。
論文 参考訳(メタデータ) (2020-05-02T19:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。