論文の概要: The role of library versions in Developer-ChatGPT conversations
- arxiv url: http://arxiv.org/abs/2401.16340v1
- Date: Mon, 29 Jan 2024 17:46:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 13:53:49.425240
- Title: The role of library versions in Developer-ChatGPT conversations
- Title(参考訳): Developer-ChatGPT会話におけるライブラリバージョンの役割
- Authors: Rachna Raj and Diego Elias Costa
- Abstract要約: 4000以上のDeveloper-ChatGPTインタラクションのデータセットであるDevGPTを分析する。
コード関連の会話でライブラリのバージョン制約が言及される頻度を定量化します。
- 参考スコア(独自算出の注目度): 1.6252311034292488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The latest breakthroughs in large language models (LLM) have empowered
software development tools, such as ChatGPT, to aid developers in complex
tasks. Developers use ChatGPT to write code, review code changes, and even
debug their programs. In these interactions, ChatGPT often recommends code
snippets that depend on external libraries. However, code from libraries
changes over time, invalidating a once-correct code snippet and making it
difficult to reuse recommended code.
In this study, we analyze DevGPT, a dataset of more than 4,000
Developer-ChatGPT interactions, to understand the role of library versions in
code-related conversations. We quantify how often library version constraints
are mentioned in code-related conversations and when ChatGPT recommends the
installation of specific libraries. Our findings show that, albeit to
constantly recommend and analyze code with external dependencies, library
version constraints only appear in 9% of the conversations. In the majority of
conversations, the version constraints are prompted by users (as opposed to
being specified by ChatGPT) as a method for receiving better quality responses.
Moreover, we study how library version constraints are used in the conversation
through qualitative methods, identifying several potential problems that
warrant further research.
- Abstract(参考訳): 大規模言語モデル(LLM)の最新のブレークスルーは、開発者が複雑なタスクを行えるように、ChatGPTのようなソフトウェア開発ツールを強化した。
開発者はChatGPTを使ってコードを書き、コードの変更をレビューし、プログラムをデバッグする。
これらのインタラクションにおいて、ChatGPTは、しばしば外部ライブラリに依存するコードスニペットを推奨する。
しかし、ライブラリからのコードは時間とともに変更され、一度修正されたコードスニペットが無効になり、推奨コードの再利用が困難になる。
本研究では,4000以上のDeveloper-ChatGPTインタラクションのデータセットであるDevGPTを分析し,コード関連会話におけるライブラリバージョンの役割を理解する。
コード関連の会話やChatGPTが特定のライブラリのインストールを推奨する場合に、ライブラリのバージョン制約が言及される頻度を定量化する。
この結果から,外部依存性のあるコードを常に推奨し,分析するためには,ライブラリのバージョン制約が会話の9%にのみ現れることがわかった。
ほとんどの会話では、より高品質なレスポンスを受け取る方法として(ChatGPTによって指定されるのとは対照的に)ユーザによってバージョン制約が促される。
さらに,ライブラリのバージョン制約が質的手法を通じて会話にどのように使われるかを検討し,さらなる研究の必要となる潜在的な問題をいくつか特定する。
関連論文リスト
- CodeEditorBench: Evaluating Code Editing Capability of Large Language Models [49.387195629660994]
コードのための大規模言語モデル(LLM)は急速に進化しており、コード編集が重要な機能として現れている。
コード編集タスクにおけるLLMの性能を厳格に評価するための評価フレームワークであるCodeEditorBenchを紹介する。
5つのソースからさまざまなコーディング課題やシナリオをキュレートし、さまざまなプログラミング言語、複雑性レベル、編集タスクをカバーしています。
論文 参考訳(メタデータ) (2024-04-04T15:49:49Z) - Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback [29.136378191436396]
大規模言語モデル(LLM)は、コードの自動生成において顕著な進歩を示している。
しかし、LLMベースのコード生成を実際のソフトウェアプロジェクトに組み込むことが課題となっている。
本稿では,プロジェクトレベルのコードコンテキストを反復的に洗練するProCoderという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-25T14:07:27Z) - Can ChatGPT Support Developers? An Empirical Evaluation of Large Language Models for Code Generation [2.93322471069531]
開発者によるChatGPTとの会話から収集したデータセットであるDevGPTにおける会話の実証分析を行った。
この結果から,LLM生成コードを使用する現在の実践は,高レベルな概念を示すか,ドキュメントに例を示すかのどちらかに制限されていることが示唆された。
論文 参考訳(メタデータ) (2024-02-18T20:48:09Z) - How to Refactor this Code? An Exploratory Study on Developer-ChatGPT
Refactoring Conversations [14.736597134188065]
開発者がChatGPTと対話する際のニーズを明確にする方法については、ほとんど分かっていない。
提案手法は17,913のChatGPTプロンプトと応答からのテキストマイニングに関する会話に依存する。
私たちの発見は、コードという文脈において、開発者とAIモデル間のコラボレーションのより広範な理解に寄与し、モデルの改善、ツール開発、ソフトウェアエンジニアリングにおけるベストプラクティスに影響を及ぼすと期待しています。
論文 参考訳(メタデータ) (2024-02-08T19:24:01Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳(メタデータ) (2024-02-06T06:03:05Z) - LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。
LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。
LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
論文 参考訳(メタデータ) (2023-10-30T17:55:02Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳(メタデータ) (2023-08-31T06:55:40Z) - InterCode: Standardizing and Benchmarking Interactive Coding with
Execution Feedback [50.725076393314964]
標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。
私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。
我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
論文 参考訳(メタデータ) (2023-06-26T17:59:50Z) - RefGPT: Dialogue Generation of GPT, by GPT, and for GPT [61.451780081612974]
大規模言語モデル(LLM)は、高品質な命令データを微調整することで、幅広いNLPタスクを解決するという印象的な能力を達成した。
しかし、高品質な人文データ、特にマルチターン対話の収集は高価であり、ほとんどの人にとっては不可能である。
本稿では,RefGPTと呼ばれる手法を用いて,モデル幻覚による事実の誤りを気にすることなく,真理でカスタマイズされた対話を生成する手法を提案する。
論文 参考訳(メタデータ) (2023-05-24T10:30:42Z) - Code Librarian: A Software Package Recommendation System [65.05559087332347]
オープンソースライブラリ用のリコメンデーションエンジンであるLibrarianを提示する。
1)プログラムのインポートライブラリで頻繁に使用されること、2)プログラムのインポートライブラリと似た機能を持つこと、3)開発者の実装と似た機能を持つこと、4)提供されるコードのコンテキストで効率的に使用できること、である。
論文 参考訳(メタデータ) (2022-10-11T12:30:05Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。