論文の概要: The role of library versions in Developer-ChatGPT conversations
- arxiv url: http://arxiv.org/abs/2401.16340v1
- Date: Mon, 29 Jan 2024 17:46:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 13:53:49.425240
- Title: The role of library versions in Developer-ChatGPT conversations
- Title（参考訳）: Developer-ChatGPT会話におけるライブラリバージョンの役割
- Authors: Rachna Raj and Diego Elias Costa
- Abstract要約: 4000以上のDeveloper-ChatGPTインタラクションのデータセットであるDevGPTを分析する。
コード関連の会話でライブラリのバージョン制約が言及される頻度を定量化します。
- 参考スコア（独自算出の注目度）: 1.6252311034292488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The latest breakthroughs in large language models (LLM) have empowered
software development tools, such as ChatGPT, to aid developers in complex
tasks. Developers use ChatGPT to write code, review code changes, and even
debug their programs. In these interactions, ChatGPT often recommends code
snippets that depend on external libraries. However, code from libraries
changes over time, invalidating a once-correct code snippet and making it
difficult to reuse recommended code.
In this study, we analyze DevGPT, a dataset of more than 4,000
Developer-ChatGPT interactions, to understand the role of library versions in
code-related conversations. We quantify how often library version constraints
are mentioned in code-related conversations and when ChatGPT recommends the
installation of specific libraries. Our findings show that, albeit to
constantly recommend and analyze code with external dependencies, library
version constraints only appear in 9% of the conversations. In the majority of
conversations, the version constraints are prompted by users (as opposed to
being specified by ChatGPT) as a method for receiving better quality responses.
Moreover, we study how library version constraints are used in the conversation
through qualitative methods, identifying several potential problems that
warrant further research.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最新のブレークスルーは、開発者が複雑なタスクを行えるように、ChatGPTのようなソフトウェア開発ツールを強化した。
開発者はChatGPTを使ってコードを書き、コードの変更をレビューし、プログラムをデバッグする。
これらのインタラクションにおいて、ChatGPTは、しばしば外部ライブラリに依存するコードスニペットを推奨する。
しかし、ライブラリからのコードは時間とともに変更され、一度修正されたコードスニペットが無効になり、推奨コードの再利用が困難になる。
本研究では,4000以上のDeveloper-ChatGPTインタラクションのデータセットであるDevGPTを分析し,コード関連会話におけるライブラリバージョンの役割を理解する。
コード関連の会話やChatGPTが特定のライブラリのインストールを推奨する場合に、ライブラリのバージョン制約が言及される頻度を定量化する。
この結果から,外部依存性のあるコードを常に推奨し,分析するためには,ライブラリのバージョン制約が会話の9%にのみ現れることがわかった。
ほとんどの会話では、より高品質なレスポンスを受け取る方法として(ChatGPTによって指定されるのとは対照的に)ユーザによってバージョン制約が促される。
さらに,ライブラリのバージョン制約が質的手法を通じて会話にどのように使われるかを検討し,さらなる研究の必要となる潜在的な問題をいくつか特定する。
関連論文リスト
- Can OpenSource beat ChatGPT? -- A Comparative Study of Large Language Models for Text-to-Code Generation [0.24578723416255752]
テキスト・ツー・コード生成の能力について,5つの大言語モデル (LLM) を評価した。
ChatGPTはこれらの典型的なプログラミング課題を、Code Llamaのようなコード特化モデルよりもはるかに効果的に処理することができる。
論文 参考訳（メタデータ） (2024-09-06T10:03:49Z) - Is ChatGPT a Good Software Librarian? An Exploratory Study on the Use of ChatGPT for Software Library Recommendations [3.1911318265930944]
ChatGPTは、人間の開発者よりも10%近い頻度でサードパーティのライブラリを使用している。
14.2%の推奨ライブラリには制限付きのコピーレフトライセンスがあり、ChatGPTは明示的に通信しなかった。
LLM生成コードをプロジェクトに統合する前に、厳格な依存性管理プラクティスとライブラリライセンスの二重チェックを実装することを推奨します。
論文 参考訳（メタデータ） (2024-08-09T15:36:59Z) - CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。
まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。
CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文 参考訳（メタデータ） (2024-06-20T16:59:52Z) - Long Code Arena: a Set of Benchmarks for Long-Context Code Models [75.70507534322336]
Long Code Arenaは、プロジェクト全体のコンテキストを必要とするコード処理タスクのための6つのベンチマークスイートである。
これらのタスクは、ライブラリベースのコード生成、CIビルドの修復、プロジェクトレベルのコード補完、コミットメッセージ生成、バグローカライゼーション、モジュールの要約といった、コード処理のさまざまな側面をカバーする。
各タスクに対して、テスト用の手作業によるデータセット、評価スイート、オープンソースのベースラインソリューションを提供しています。
論文 参考訳（メタデータ） (2024-06-17T14:58:29Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - How to Refactor this Code? An Exploratory Study on Developer-ChatGPT
Refactoring Conversations [14.736597134188065]
開発者がChatGPTと対話する際のニーズを明確にする方法については、ほとんど分かっていない。
提案手法は17,913のChatGPTプロンプトと応答からのテキストマイニングに関する会話に依存する。
私たちの発見は、コードという文脈において、開発者とAIモデル間のコラボレーションのより広範な理解に寄与し、モデルの改善、ツール開発、ソフトウェアエンジニアリングにおけるベストプラクティスに影響を及ぼすと期待しています。
論文 参考訳（メタデータ） (2024-02-08T19:24:01Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。
LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。
LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
論文 参考訳（メタデータ） (2023-10-30T17:55:02Z) - InterCode: Standardizing and Benchmarking Interactive Coding with
Execution Feedback [50.725076393314964]
標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。
私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。
我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
論文 参考訳（メタデータ） (2023-06-26T17:59:50Z) - Code Librarian: A Software Package Recommendation System [65.05559087332347]
オープンソースライブラリ用のリコメンデーションエンジンであるLibrarianを提示する。
1)プログラムのインポートライブラリで頻繁に使用されること、2)プログラムのインポートライブラリと似た機能を持つこと、3)開発者の実装と似た機能を持つこと、4)提供されるコードのコンテキストで効率的に使用できること、である。
論文 参考訳（メタデータ） (2022-10-11T12:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。