論文の概要: How far are AI-powered programming assistants from meeting developers' needs?

• arxiv url: http://arxiv.org/abs/2404.12000v1
• Date: Thu, 18 Apr 2024 08:51:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 19:31:17.708507
• Title: How far are AI-powered programming assistants from meeting developers' needs?
• Title（参考訳）: AIを使ったプログラミングアシスタントは、どこまで開発者のニーズを満たすことができるのか?
• Authors: Xin Tan, Xiao Long, Xianjun Ni, Yinghao Zhu, Jing Jiang, Li Zhang,
• Abstract要約: GitHub CopilotのようなIDE内AIコーディングアシスタントツール(ACAT)は、開発者のコーディング習慣に大きな影響を与えている。 我々は,実開発シナリオをシミュレートし,27人のコンピュータサイエンス学生を募集し,その振る舞いを3つのACATを用いて調査する。 ACATは一般的にタスク完了率を高め、時間を短縮し、コード品質を改善し、自己認識の生産性を高めます。
• 参考スコア（独自算出の注目度）: 17.77734978425295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent In-IDE AI coding assistant tools (ACATs) like GitHub Copilot have significantly impacted developers' coding habits. While some studies have examined their effectiveness, there lacks in-depth investigation into the actual assistance process. To bridge this gap, we simulate real development scenarios encompassing three typical types of software development tasks and recruit 27 computer science students to investigate their behavior with three popular ACATs. Our goal is to comprehensively assess ACATs' effectiveness, explore characteristics of recommended code, identify reasons for modifications, and understand users' challenges and expectations. To facilitate the study, we develop an experimental platform that includes a data collection plugin for VSCode IDE and provides functions for screen recording, code evaluation, and automatic generation of personalized interview and survey questions. Through analysis of the collected data, we find that ACATs generally enhance task completion rates, reduce time, improve code quality, and increase self-perceived productivity. However, the improvement is influenced by both the nature of coding tasks and users' experience level. Notably, for experienced participants, the use of ACATs may even increase completion time. We observe that "edited line completion" is the most frequently recommended way, while "comments completion" and "string completion" have the lowest acceptance rates. The primary reasons for modifying recommended code are disparities between output formats and requirements, flawed logic, and inconsistent code styles. In terms of challenges and expectations, optimization of service access and help documentation is also concerned by participants except for functionality and performance. Our study provides valuable insights into the effectiveness and usability of ACATs, informing further improvements in their design and implementation.
• Abstract（参考訳）: GitHub Copilotのような最近のIDE内AIコーディングアシスタントツール(ACAT)は、開発者のコーディング習慣に大きな影響を与えている。 有効性について調べる研究もあるが、実際の支援プロセスについて詳細な調査は行われていない。 このギャップを埋めるために、我々は3つの典型的なソフトウェア開発タスクを含む実際の開発シナリオをシミュレートし、27人のコンピュータサイエンス学生を募集し、3つの一般的なACATを用いて彼らの振る舞いを調査する。 私たちのゴールは、ACATの有効性を総合的に評価し、推奨コードの特徴を探求し、修正の理由を特定し、ユーザの課題と期待を理解することです。 そこで本研究では,VSCode IDE用のデータ収集プラグインと,画面記録機能,コード評価機能,パーソナライズされたインタビュー・調査質問の自動生成機能を備えた実験プラットフォームを開発した。 収集したデータを分析することで、ACATは一般的にタスク完了率を高め、時間を短縮し、コード品質を改善し、自己認識の生産性を向上させる。 しかし、この改善は、コーディングタスクの性質とユーザエクスペリエンスレベルの両方に影響を受けている。 特に、経験豊富な参加者にとって、ACATの使用は完成時間を増加させるかもしれない。 また,「編集された行完成」が最も推奨される方法であるのに対し,「構成完了」と「弦完成」は受理率が最も低いことを観察した。 推奨コードを変更する主な理由は、出力フォーマットと要求、欠陥のあるロジック、一貫性のないコードスタイルの相違である。 課題と期待に関して、サービスアクセスとヘルプドキュメンテーションの最適化は、機能とパフォーマンスを除いて参加者によっても関係しています。 本研究は,ACATの有効性とユーザビリティに関する貴重な知見を提供し,その設計と実装のさらなる改善を図っている。

関連論文リスト

• Prompting and Fine-tuning Large Language Models for Automated Code Review Comment Generation [5.6001617185032595]
  プログラムデータと自然言語データの両方で事前訓練された大きな言語モデルは、コード指向のタスクでうまく機能する傾向にある。 我々は,パラメータ効率,量子化低ランクのオープンソースLarge Language Model (LLM) をコンシューマグレードハードウェア上で微調整し,レビューコメント生成を改善する。
  論文  参考訳（メタデータ） (2024-11-15T12:01:38Z)
• Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course [1.553083901660282]
  テストはソフトウェア開発プロジェクトの成功を保証する上で重要な役割を担います。 種々のテストが機能的適合性に与える影響を定量化できるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-08-22T04:23:51Z)
• Code Compass: A Study on the Challenges of Navigating Unfamiliar Codebases [2.808331566391181]
  これらの問題に対処するための新しいツールであるCodeを提案する。 本研究は,現在のツールと方法論における大きなギャップを浮き彫りにしている。 私たちのフォーマティブな調査は、開発者がドキュメントをナビゲートする時間をいかに効率的に削減するかを示しています。
  論文  参考訳（メタデータ） (2024-05-10T06:58:31Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets [0.0]
  この研究は、AI駆動のコードアシスタントを使用して、現代技術を形成する影響力のあるコンピュータコードの選択を分析する。 この研究の最初の貢献は、過去50年で最も重要なコードの進歩の半分を調査することであった。
  論文  参考訳（メタデータ） (2023-01-05T23:17:17Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• All You Need Is Logs: Improving Code Completion by Learning from Anonymous IDE Usage Logs [55.606644084003094]
  そこで本研究では,IDEのユーザからコンプリート利用ログを収集する手法を提案する。 機械学習ベースのモデルをトレーニングして、完成候補をランク付けします。 評価の結果,過去のユーザ動作ログに基づいてトレーニングした単純なランキングモデルを用いることで,コード補完エクスペリエンスが大幅に向上した。
  論文  参考訳（メタデータ） (2022-05-21T23:21:26Z)
• CodeReviewer: Pre-Training for Automating Code Review Activities [36.40557768557425]
  本研究は,コードレビューシナリオにおけるタスクの事前学習技術を活用することに焦点を当てる。 私たちは、最も人気のある9つのプログラミング言語で、オープンソースのプロジェクトから、現実世界のコード変更とコードレビューの大規模なデータセットを収集します。 コード差分とレビューをよりよく理解するために、コードレビューセナリオに特化した4つの事前トレーニングタスクを利用する事前トレーニングモデルであるCodeReviewerを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:40:13Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。