論文の概要: Unveiling ChatGPT's Usage in Open Source Projects: A Mining-based Study
- arxiv url: http://arxiv.org/abs/2402.16480v1
- Date: Mon, 26 Feb 2024 10:58:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 13:45:20.615208
- Title: Unveiling ChatGPT's Usage in Open Source Projects: A Mining-based Study
- Title（参考訳）: オープンソースプロジェクトにおけるchatgptの利用状況 - マイニングに基づく研究
- Authors: Rosalia Tufano, Antonio Mastropaolo, Federica Pepe, Ozren Dabi\'c,
Massimiliano Di Penta, Gabriele Bavota
- Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学コミュニティで大きな注目を集めています。
1,501件のコミット、プルリクエスト、そして、そのタスクを達成するためのChatGPTの使用を示す正規表現をマッチングすることで、オープンソースプロジェクトからの問題に対処しています。
これにより、開発者はChatGPTを介して自動化される45のタスクの分類結果が得られた。
- 参考スコア（独自算出の注目度）: 17.952085678503362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have gained significant attention in the
software engineering community. Nowadays developers have the possibility to
exploit these models through industrial-grade tools providing a handy interface
toward LLMs, such as OpenAI's ChatGPT. While the potential of LLMs in assisting
developers across several tasks has been documented in the literature, there is
a lack of empirical evidence mapping the actual usage of LLMs in software
projects. In this work, we aim at filling such a gap. First, we mine 1,501
commits, pull requests (PRs), and issues from open-source projects by matching
regular expressions likely to indicate the usage of ChatGPT to accomplish the
task. Then, we manually analyze these instances, discarding false positives
(i.e., instances in which ChatGPT was mentioned but not actually used) and
categorizing the task automated in the 467 true positive instances (165
commits, 159 PRs, 143 issues). This resulted in a taxonomy of 45 tasks which
developers automate via ChatGPT. The taxonomy, accompanied with representative
examples, provides (i) developers with valuable insights on how to exploit LLMs
in their workflow and (ii) researchers with a clear overview of tasks that,
according to developers, could benefit from automated solutions.
- Abstract（参考訳）: 大規模言語モデル(llm)はソフトウェア工学のコミュニティで大きな注目を集めている。
今日では、OpenAIのChatGPTなど、LLMに対する便利なインターフェースを提供する産業レベルのツールを通じて、これらのモデルを活用することができる。
様々なタスクにまたがって開発者を支援するLLMの可能性は文献に記録されているが、ソフトウェアプロジェクトにおけるLLMの実際の使用をマッピングする実証的な証拠は乏しい。
この作業では、このようなギャップを埋めることを目指しています。
まず、1,501のコミット、プルリクエスト(PR)、そしてタスクを達成するためのChatGPTの使用を示す正規表現を一致させることによって、オープンソースプロジェクトから問題を取り除きます。
そして、これらのインスタンスを手作業で分析し、偽の陽性(165コミット、159pr、143イシュー)を破棄し、自動化されたタスクを467の真陽性インスタンス(165コミット、159pr、143イシュー)に分類します。
その結果、開発者がchatgpt経由で自動化する45のタスクの分類が可能になった。
代表的な例を添えた分類学は
(i)LLMをワークフローで活用する方法に関する貴重な洞察を持つ開発者と
(ii)開発者によれば、自動化ソリューションの恩恵を受けるタスクの概要を明らかにした研究者。
関連論文リスト
- LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering [38.20696656193963]
非自明なソフトウェアエンジニアリングタスクにおいて,ChatGPTをコーディングアシスタントとして使用した22名の参加者を対象に,観察的研究を行った。
そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。
論文 参考訳（メタデータ） (2024-11-15T03:29:41Z) - WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳（メタデータ） (2024-07-07T07:15:49Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳（メタデータ） (2024-06-22T15:52:04Z) - Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z) - Beyond Code Generation: An Observational Study of ChatGPT Usage in Software Engineering Practice [3.072802875195726]
我々は、ChatGPTを1週間の業務で使用している24人のプロのソフトウェアエンジニアについて、観察的研究を行った。
ChatGPTが使えるソフトウェアアーティファクト(例えばコード)を生成することを期待するのではなく、実践者はChatGPTを使ってタスクの解決方法やトピックについてより抽象的な言葉で学ぶことが多い。
論文 参考訳（メタデータ） (2024-04-23T10:34:16Z) - Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation
of LLM-Supported SE Tasks [9.455579863269714]
コーディングタスクやソフトウェア開発の典型的なタスクにおいて,ChatGPTがどの程度役に立つかを検討した。
単純なコーディング問題ではChatGPTはうまく機能していましたが、典型的なソフトウェア開発タスクをサポートするパフォーマンスはそれほど良くありませんでした。
そこで本研究では,ChatGPTを用いたソフトウェアエンジニアリングタスクを現実の開発者に提供する。
論文 参考訳（メタデータ） (2024-02-08T13:07:31Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳（メタデータ） (2023-11-16T12:03:21Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳（メタデータ） (2023-10-19T02:12:17Z) - A Critical Review of Large Language Model on Software Engineering: An Example from ChatGPT and Automated Program Repair [19.123640635549524]
大規模言語モデル(LLM)が注目され、様々なソフトウェアエンジニアリングタスクで有望なパフォーマンスを示した。
本稿では,ChatGPTのバグ修正機能について,研究目的の異なるクリーンAPRベンチマークで概説する。
ChatGPTは、35ラウンド以内の基本的なプロンプトを使用して151のバグギープログラムのうち109を修正でき、最先端のLLM CodeT5とPLBARTを27.5%、予測精度62.4%で上回っている。
論文 参考訳（メタデータ） (2023-10-13T06:11:47Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。