論文の概要: What Skills Do You Need When Developing Software Using ChatGPT?
(Discussion Paper)
- arxiv url: http://arxiv.org/abs/2310.05998v1
- Date: Mon, 9 Oct 2023 12:03:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 04:19:47.595731
- Title: What Skills Do You Need When Developing Software Using ChatGPT?
(Discussion Paper)
- Title(参考訳): ChatGPTを使ったソフトウェア開発には,どのようなスキルが必要なのか?
(論文)
- Authors: Johan Jeuring, Roel Groot, Hieke Keuning
- Abstract要約: 我々は,計算思考(CT)スキルがLCMベースのツールを用いてソフトウェアを開発する能力を予測できるかどうかを調査する実験について報告する。
以上の結果から,LCMベースのツールを用いてソフトウェアを開発する能力は,CTアセスメントのスコアによって予測できることが示唆された。
- 参考スコア(独自算出の注目度): 0.8002196839441036
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Since the release of LLM-based tools such as GitHub Copilot and ChatGPT the
media and popular scientific literature, but also journals such as the
Communications of the ACM, have been flooded with opinions how these tools will
change programming. The opinions range from ``machines will program
themselves'', to ``AI does not help programmers''. Of course, these statements
are meant to to stir up a discussion, and should be taken with a grain of salt,
but we argue that such unfounded statements are potentially harmful. Instead,
we propose to investigate which skills are required to develop software using
LLM-based tools.
In this paper we report on an experiment in which we explore if Computational
Thinking (CT) skills predict the ability to develop software using LLM-based
tools. Our results show that the ability to develop software using LLM-based
tools can indeed be predicted by the score on a CT assessment. There are many
limitations to our experiment, and this paper is also a call to discuss how to
approach, preferably experimentally, the question of which skills are required
to develop software using LLM-based tools. We propose to rephrase this question
to include by what kind of people/programmers, to develop what kind of software
using what kind of LLM-based tools.
- Abstract(参考訳): github copilotやchatgptといったllmベースのツールのリリース以来、メディアや一般的な科学文献だけでなく、acmのコミュニケーションといったジャーナルも、これらのツールがプログラミングをどのように変えるかという意見で溢れています。
その意見は ``machines will programself'' から ``ai does not help programmers'' まで様々である。
もちろん、これらの声明は議論をかき立てるためのものであり、一粒の塩で取るべきであるが、我々はそのような根拠のない声明は潜在的に有害であると主張する。
そこで本研究では,LSMツールを用いたソフトウェア開発に必要なスキルについて検討する。
本稿では,計算思考(CT)技術がLSMツールを用いたソフトウェア開発能力を予測できるかどうかを調査する実験について報告する。
以上の結果から,LCMベースのツールを用いてソフトウェアを開発する能力は,CTアセスメントのスコアによって予測できることが示唆された。
実験には多くの制限がありますが、本論文は、llmベースのツールを使ってソフトウェアを開発するのに必要なスキルについて、実験的にどのようにアプローチするかを議論する上でも役立ちます。
我々は、この質問を、どのような人々/プログラマが、どんな LLM ベースのツールを使って、どのような種類のソフトウェアを開発するかを含めるために、言い換えることを提案する。
関連論文リスト
- LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳(メタデータ) (2024-03-07T18:50:51Z) - Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。
マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。
マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T21:53:30Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool
Utilization in Real-World Complex Scenarios [95.97781233780357]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant [2.268415020650315]
大規模言語モデル上に構築された新しいタイプのツールが登場しつつある。
これらのツールは、微調整やコンテキスト情報によるユーザプロンプトの強化といった手法を用いて、欠点を軽減することを目的としている。
論文 参考訳(メタデータ) (2023-11-30T10:51:26Z) - MetaTool Benchmark for Large Language Models: Deciding Whether to Use
Tools and Which to Use [82.24774504584066]
大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。
このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。
8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
論文 参考訳(メタデータ) (2023-10-04T19:39:26Z) - Software Testing with Large Language Models: Survey, Landscape, and
Vision [32.34617250991638]
事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。
本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
論文 参考訳(メタデータ) (2023-07-14T08:26:12Z) - Calculating Originality of LLM Assisted Source Code [0.0]
本稿では,学生がソースコードを書く際の本来の取り組み(およびLLMの貢献)を決定するニューラルネットワークベースのツールを提案する。
我々のツールは、コルモゴロフ複雑性のような最小記述長測度によって動機付けられている。
論文 参考訳(メタデータ) (2023-07-10T11:30:46Z) - On the Tool Manipulation Capability of Open-source Large Language Models [19.6917640220883]
オープンソース LLM を強化して,ツール操作においてクローズド LLM API をリードする上での競争力を示すことができることを示す。
当社の技術は,オープンソースLLMを最大90%の成功率で向上させ,8つのツールベンチタスクのうち4つでOpenAI GPT-4と競合する能力を示す。
論文 参考訳(メタデータ) (2023-05-25T22:10:20Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning
of Large Language Models [78.65241926912663]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳(メタデータ) (2023-05-23T17:51:52Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-18T15:35:43Z) - What is it like to program with artificial intelligence? [10.343988028594612]
大規模言語モデルは、自然言語で表される様々な問題を解決するためにコードを生成することができる。
この技術はすでに、少なくとも1つの広く使用されているプログラミングエディタ拡張、GitHub Copilotで商用化されている。
我々は,大規模言語モデル(LLM支援プログラミング)を用いたプログラミングが,プログラマ支援の事前概念化とどのように似ており,異なるのかを考察する。
論文 参考訳(メタデータ) (2022-08-12T10:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。