論文の概要: Is ChatGPT a Good Software Librarian? An Exploratory Study on the Use of ChatGPT for Software Library Recommendations
- arxiv url: http://arxiv.org/abs/2408.05128v1
- Date: Fri, 9 Aug 2024 15:36:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 15:27:33.593328
- Title: Is ChatGPT a Good Software Librarian? An Exploratory Study on the Use of ChatGPT for Software Library Recommendations
- Title（参考訳）: ChatGPTは優れたソフトウェアライブラリアンか? : ソフトウェアライブラリレコメンデーションにおけるChatGPTの利用に関する探索的研究
- Authors: Jasmine Latendresse, SayedHassan Khatoonabadi, Ahmad Abdellatif, Emad Shihab,
- Abstract要約: ChatGPTは、人間の開発者よりも10%近い頻度でサードパーティのライブラリを使用している。
14.2%の推奨ライブラリには制限付きのコピーレフトライセンスがあり、ChatGPTは明示的に通信しなかった。
LLM生成コードをプロジェクトに統合する前に、厳格な依存性管理プラクティスとライブラリライセンスの二重チェックを実装することを推奨します。
- 参考スコア（独自算出の注目度）: 3.1911318265930944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software libraries play a critical role in the functionality, efficiency, and maintainability of software systems. As developers increasingly rely on Large Language Models (LLMs) to streamline their coding processes, the effectiveness of these models in recommending appropriate libraries becomes crucial yet remains largely unexplored. In this paper, we assess the effectiveness of ChatGPT as a software librarian and identify areas for improvement. We conducted an empirical study using GPT-3.5 Turbo to generate Python code for 10,000 Stack Overflow questions. Our findings show that ChatGPT uses third-party libraries nearly 10% more often than human developers, favoring widely adopted and well-established options. However, 14.2% of the recommended libraries had restrictive copyleft licenses, which were not explicitly communicated by ChatGPT. Additionally, 6.5% of the libraries did not work out of the box, leading to potential developer confusion and wasted time. While ChatGPT can be an effective software librarian, it should be improved by providing more explicit information on maintainability metrics and licensing. We recommend that developers implement rigorous dependency management practices and double-check library licenses before integrating LLM-generated code into their projects.
- Abstract（参考訳）: ソフトウェアライブラリは、ソフトウェアシステムの機能、効率、保守性において重要な役割を果たす。
開発者はコーディングプロセスの合理化にLarge Language Models (LLMs) をますます頼りにしているため、適切なライブラリを推奨するこれらのモデルの有効性は不可欠だが、まだほとんど解明されていない。
本稿では,ソフトウェアライブラリアンとしてのChatGPTの有効性を評価し,改善すべき領域を特定する。
GPT-3.5 Turboを用いて1万のStack Overflow質問に対してPythonコードを生成する実験を行った。
以上の結果から,ChatGPTは人間の開発者よりも10%近い頻度でサードパーティ製ライブラリを使用していることが明らかとなり,広く採用され,確立された選択肢が好まれる。
しかし、推奨ライブラリの14.2%は制限付きのコピーレフトライセンスを持っていたが、ChatGPTは明示的に通信しなかった。
さらに、ライブラリの6.5%はすぐには動作せず、潜在的な開発者の混乱と時間の浪費につながった。
ChatGPTは効果的なソフトウェアライブラリであり得るが、保守性メトリクスとライセンスに関するより明確な情報を提供することによって改善されるべきである。
LLM生成コードをプロジェクトに統合する前に、厳格な依存性管理プラクティスとライブラリライセンスの二重チェックを実装することを推奨します。
関連論文リスト
- Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - ReGAL: Refactoring Programs to Discover Generalizable Abstractions [59.05769810380928]
Generalizable Abstraction Learning (ReGAL)は、再利用可能な関数のライブラリをコード化して学習する手法である。
ReGALによって発見された共有関数ライブラリは、プログラムが様々な領域で容易に予測できることを示している。
CodeLlama-13Bでは、ReGALはLOGOで11.5%、日付理解で26.1%、TextCraftで8.1%という絶対精度が向上し、3つのドメインのうち2つでGPT-3.5を上回った。
論文 参考訳（メタデータ） (2024-01-29T18:45:30Z) - The role of library versions in Developer-ChatGPT conversations [1.6252311034292488]
4000以上のDeveloper-ChatGPTインタラクションのデータセットであるDevGPTを分析する。
コード関連の会話でライブラリのバージョン制約が言及される頻度を定量化します。
論文 参考訳（メタデータ） (2024-01-29T17:46:18Z) - LLM Interactive Optimization of Open Source Python Libraries -- Case
Studies and Generalization [0.0]
本稿では,有名なオープンソースピトンライブラリーの枕とマンピーに適用した方法論的に厳密なケーススタディについて述べる。
現代のLLM ChatGPT-4は、エネルギーと計算効率の最適化に驚くほど適している。
LLMはオープンソースライブラリにおけるコード最適化のための有望なツールであるが、そのループの人間専門家は成功に不可欠である、と結論付けている。
論文 参考訳（メタデータ） (2023-12-08T13:52:57Z) - CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model [58.127534002232096]
本稿では,オープンソースの事前学習型LLMであるCodeFuse-13Bを紹介する。
英語と中国語の両方のプロンプトによるコード関連のタスク用に特別に設計されている。
CodeFuseは、高品質な事前トレーニングデータセットを利用することで、その効果を達成する。
論文 参考訳（メタデータ） (2023-10-10T02:38:44Z) - Analysis of ChatGPT on Source Code [1.3381749415517021]
本稿では,大規模言語モデル(LLM),特にプログラミング,ソースコード解析,コード生成におけるChatGPTの利用について検討する。
LLMとChatGPTは機械学習と人工知能の技術を使って構築されており、開発者とプログラマにいくつかの利点を提供している。
論文 参考訳（メタデータ） (2023-06-01T12:12:59Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Code Librarian: A Software Package Recommendation System [65.05559087332347]
オープンソースライブラリ用のリコメンデーションエンジンであるLibrarianを提示する。
1)プログラムのインポートライブラリで頻繁に使用されること、2)プログラムのインポートライブラリと似た機能を持つこと、3)開発者の実装と似た機能を持つこと、4)提供されるコードのコンテキストで効率的に使用できること、である。
論文 参考訳（メタデータ） (2022-10-11T12:30:05Z) - Repro: An Open-Source Library for Improving the Reproducibility and
Usability of Publicly Available Research Code [74.28810048824519]
Reproは、研究コードのユーザビリティ向上を目的とした、オープンソースのライブラリである。
Dockerコンテナ内で研究者がリリースしたソフトウェアを実行するための軽量Python APIを提供する。
論文 参考訳（メタデータ） (2022-04-29T01:54:54Z) - SacreROUGE: An Open-Source Library for Using and Developing
Summarization Evaluation Metrics [74.28810048824519]
SacreROUGEは、要約評価メトリクスの使用と開発のためのオープンソースライブラリである。
このライブラリは、既存の評価メトリクスの公式実装に関するPythonラッパーを提供する。
ライブラリに実装されたメトリックが、人間による注釈付き判断とどの程度の相関があるかを評価する機能を提供する。
論文 参考訳（メタデータ） (2020-07-10T13:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。