論文の概要: A Large-Scale Survey on the Usability of AI Programming Assistants:
Successes and Challenges
- arxiv url: http://arxiv.org/abs/2303.17125v2
- Date: Sun, 17 Sep 2023 04:36:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 00:30:40.733123
- Title: A Large-Scale Survey on the Usability of AI Programming Assistants:
Successes and Challenges
- Title(参考訳): AIプログラミングアシスタントのユーザビリティに関する大規模調査:成功と挑戦
- Authors: Jenny T. Liang, Chenyang Yang, Brad A. Myers
- Abstract要約: 実際には、開発者はAIプログラミングアシスタントの最初の提案を高い頻度で受け入れない。
これらのツールを使用して開発者のプラクティスを理解するため、多数の開発者を対象に調査を実施しました。
開発者がAIプログラミングアシスタントを使用する動機は、開発者がキーストロークを減らしたり、プログラミングタスクを素早く終了したり、構文をリコールするのに役立つためである。
また、開発者がこれらのツールを使用しない最も重要な理由は、これらのツールが特定の機能的あるいは非機能的要件に対処するコードを出力していないためです。
- 参考スコア(独自算出の注目度): 23.467373994306524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The software engineering community recently has witnessed widespread
deployment of AI programming assistants, such as GitHub Copilot. However, in
practice, developers do not accept AI programming assistants' initial
suggestions at a high frequency. This leaves a number of open questions related
to the usability of these tools. To understand developers' practices while
using these tools and the important usability challenges they face, we
administered a survey to a large population of developers and received
responses from a diverse set of 410 developers. Through a mix of qualitative
and quantitative analyses, we found that developers are most motivated to use
AI programming assistants because they help developers reduce key-strokes,
finish programming tasks quickly, and recall syntax, but resonate less with
using them to help brainstorm potential solutions. We also found the most
important reasons why developers do not use these tools are because these tools
do not output code that addresses certain functional or non-functional
requirements and because developers have trouble controlling the tool to
generate the desired output. Our findings have implications for both creators
and users of AI programming assistants, such as designing minimal cognitive
effort interactions with these tools to reduce distractions for users while
they are programming.
- Abstract(参考訳): ソフトウェアエンジニアリングコミュニティは先頃、GitHub Copilotなど、AIプログラミングアシスタントの広範な展開を目撃した。
しかし、実際には、開発者は高い頻度でaiプログラミングアシスタントの最初の提案を受け入れない。
これにより、これらのツールのユーザビリティに関する多くのオープンな疑問が残る。
これらのツールを使用して開発者のプラクティスを理解し、彼らが直面する重要なユーザビリティ上の課題を理解するために、多数の開発者を対象に調査を実施し、さまざまな410人の開発者から回答を得た。
質的な分析と定量的分析の混合により、開発者はAIプログラミングアシスタントを使用する動機が最も高いのは、開発者がキーストロークを減らし、プログラミングタスクを素早く終了し、構文をリコールするのを助けるが、潜在的なソリューションをブレインストーミングするためにそれを使うことに共鳴しないためである。
また、開発者がこれらのツールを使用しない最も重要な理由は、これらのツールが特定の機能的あるいは非機能的要件に対処するコードを出力していないことと、開発者がツールを制御して所望の出力を生成するのに苦労しているためである。
私たちの発見は、AIプログラミングアシスタントのクリエーターとユーザの両方にとって、プログラミング中のユーザの気を散らすために、これらのツールとの最小限の認知的取り組みインタラクションを設計するなど、意味があります。
関連論文リスト
- Building Your Own Product Copilot: Challenges, Opportunities, and Needs [16.710056957807353]
さまざまな企業でプロダクトコラボレートを構築する責任を負う,26人のプロフェッショナルソフトウェアエンジニアにインタビューした。
エンジニアリングプロセスのすべてのステップと、既存の開発プラクティスを歪ませる課題に、痛点を見つけました。
論文 参考訳(メタデータ) (2023-12-21T18:37:43Z) - Developer Experiences with a Contextualized AI Coding Assistant:
Usability, Expectations, and Outcomes [11.520721038793285]
この研究は、コンテキスト化されたコーディングAIアシスタントであるStackSpot AIを制御された環境で使用した62人の参加者の初期体験に焦点を当てる。
アシスタントの使用は、大幅な時間を節約し、ドキュメントへのアクセスを容易にし、内部APIの正確なコードを生成する結果となった。
コーディングアシスタントが、複雑なコードを扱う際の変数応答や制限と同様に、よりコンテキスト情報にアクセスできるようにするために必要な知識ソースに関連する課題が観察された。
論文 参考訳(メタデータ) (2023-11-30T10:52:28Z) - Communicative Agents for Software Development [79.86905471184195]
ChatDevはチャットを利用した仮想ソフトウェア開発会社で、確立したウォーターフォールモデルを反映している。
各ステージは、プログラマ、コードレビュアー、テストエンジニアといった"ソフトウェアエージェント"のチームが参加し、協調的な対話を促進する。
ChatDevは潜在的な脆弱性を特定し、信頼できる効率とコスト効率を維持しながら幻覚を正す。
論文 参考訳(メタデータ) (2023-07-16T02:11:34Z) - AI for Low-Code for AI [8.379047663193422]
LowCoderは、ビジュアルプログラミングインターフェースとAI駆動の自然言語インターフェースの両方をサポートするAIパイプラインを開発するための、最初のローコードツールである。
私たちは、LowCoderを使用して4つのMLパイプラインを実装することで、さまざまなレベルのAI専門知識を持つ20人の開発者をタスクします。
参加者はLowCoder_NLを使用して、75%のタスクで新しい演算子を発見しました。
論文 参考訳(メタデータ) (2023-05-31T16:44:03Z) - Investigating and Designing for Trust in AI-powered Code Generation
Tools [16.55607854011089]
私たちは、AIコード生成ツールを適切に信頼する上での彼らの課題を理解するために、開発者にインタビューした。
我々は,開発者の信頼構築プロセスを支援する設計概念を探索する設計調査を行った。
これらの結果から,AIを利用したコード生成ツールの信頼性設計に関する設計勧告が提案されている。
論文 参考訳(メタデータ) (2023-05-18T18:23:51Z) - The GitHub Development Workflow Automation Ecosystems [47.818229204130596]
大規模なソフトウェア開発は、非常に協力的な取り組みになっています。
この章では、開発ボットとGitHub Actionsのエコシステムについて解説する。
この領域における最先端技術に関する広範な調査を提供する。
論文 参考訳(メタデータ) (2023-05-08T15:24:23Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-18T15:35:43Z) - Tool Learning with Foundation Models [114.2581831746077]
基礎モデルの出現により、AIシステムは、人間としてのツールの使用に等しく適応できる可能性がある。
その大きな可能性にもかかわらず、この分野における重要な課題、機会、そして将来の取り組みに関する包括的な理解はいまだに欠けている。
論文 参考訳(メタデータ) (2023-04-17T15:16:10Z) - Smart tutor to provide feedback in programming courses [0.0]
学生のプログラミングに関する質問に答えるAIベースのインテリジェントチューターを提案する。
このツールは、全コースでURJCの大学生によってテストされている。
論文 参考訳(メタデータ) (2023-01-24T11:00:06Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳(メタデータ) (2022-02-08T23:16:31Z) - AI Explainability 360: Impact and Design [120.95633114160688]
2019年、私たちはAI Explainability 360(Arya et al. 2020)を開発しました。
本稿では,いくつかのケーススタディ,統計,コミュニティフィードバックを用いて,ツールキットが与える影響について検討する。
また,ツールキットのフレキシブルな設計,使用例,利用者が利用可能な教育資料や資料についても述べる。
論文 参考訳(メタデータ) (2021-09-24T19:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。