論文の概要: How do Copilot Suggestions Impact Developers' Frustration and Productivity?
- arxiv url: http://arxiv.org/abs/2504.06808v1
- Date: Wed, 09 Apr 2025 11:55:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-17 17:47:18.655375
- Title: How do Copilot Suggestions Impact Developers' Frustration and Productivity?
- Title(参考訳): Copilot Suggestionsは開発者のフラストレーションと生産性にどのように影響しますか?
- Authors: Emanuela Guglielmi, Venera Arnoudova, Gabriele Bavota, Rocco Oliveto, Simone Scalabrino,
- Abstract要約: 本稿では,自動提案がフラストレーションと生産性に与える影響について2つの理論を提案する。
専門家も初心者も、少なくとも32人の開発者を巻き込みます。
- 参考スコア(独自算出の注目度): 12.302518927205103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context. AI-based development tools, such as GitHub Copilot, are transforming the software development process by offering real-time code suggestions. These tools promise to improve the productivity by reducing cognitive load and speeding up task completion. Previous exploratory studies, however, show that developers sometimes perceive the automatic suggestions as intrusive. As a result, they feel like their productivity decreased. Theory. We propose two theories on the impact of automatic suggestions on frustration and productivity. First, we hypothesize that experienced developers are frustrated from automatic suggestions (mostly from irrelevant ones), and this also negatively impacts their productivity. Second, we conjecture that novice developers benefit from automatic suggestions, which reduce the frustration caused from being stuck on a technical problem and thus increase their productivity. Objective. We plan to conduct a quasi-experimental study to test our theories. The empirical evidence we will collect will allow us to either corroborate or reject our theories. Method. We will involve at least 32 developers, both experts and novices. We will ask each of them to complete two software development tasks, one with automatic suggestions enabled and one with them disabled, allowing for within-subject comparisons. We will measure independent and dependent variables by monitoring developers' actions through an IDE plugin and screen recording. Besides, we will collect physiological data through a wearable device. We will use statistical hypothesis tests to study the effects of the treatments (i.e., automatic suggestions enabled/disabled) on the outcomes (frustration and productivity).
- Abstract(参考訳): コンテキスト。
GitHub CopilotのようなAIベースの開発ツールは、リアルタイムコード提案を提供することで、ソフトウェア開発プロセスを変革している。
これらのツールは、認知負荷を減らし、タスク完了をスピードアップすることで生産性を向上させることを約束する。
しかし、以前の探索的研究では、開発者は時に自動的な提案を侵入的だと見なすことがある。
その結果、生産性が低下したように感じます。
理論。
本稿では,自動提案がフラストレーションと生産性に与える影響について2つの理論を提案する。
まず、経験豊富な開発者は自動的な提案(主に無関係な提案)に不満を感じており、生産性にも悪影響を及ぼす、という仮説を立てます。
第二に、初心者開発者は自動的な提案の恩恵を受けるので、技術的な問題に悩まされることによるフラストレーションが軽減され、生産性が向上すると予想する。
目的。
我々は、我々の理論をテストするための準実験的な研究を行う予定です。
私たちが収集する実証的な証拠は、我々の理論を裏付けるか、否定するかのいずれかを可能にします。
方法。
専門家も初心者も、少なくとも32人の開発者を巻き込みます。
それぞれに2つのソフトウェア開発タスクの完了を要請します。1つは自動提案が可能で、もう1つは無効で、オブジェクト内比較を可能にします。
IDEプラグインとスクリーン記録を通じて開発者のアクションを監視することで、独立変数と依存変数を計測します。
また、ウェアラブルデバイスを通じて生理データを収集する。
統計的仮説テストを用いて、結果(フラストレーションと生産性)に対する治療の効果(つまり、自動提案が有効/無効)を研究する。
関連論文リスト
- "Maybe We Need Some More Examples:" Individual and Team Drivers of Developer GenAI Tool Use [7.989553944867326]
生成AIツールが広く利用可能であるにも関わらず、開発者の採用は不均一である。
この不均一さは生産性の努力を妨げ、マネジメントの期待をフラストレーションさせ、開発者の将来の役割に関する不確実性を生み出します。
以上の結果から,学習支援に十分な投資をすることなく,迅速な生産性向上を期待できる組織的期待が,「生産性圧力パラドックス」を生み出すことが示唆された。
論文 参考訳(メタデータ) (2025-07-28T19:05:46Z) - Do AI models help produce verified bug fixes? [62.985237003585674]
大規模言語モデルは、ソフトウェアバグの修正に使用される。
本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。
その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
論文 参考訳(メタデータ) (2025-07-21T17:30:16Z) - Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity [0.5789840336223054]
広く採用されているにもかかわらず、ソフトウェア開発におけるAIツールの影響はいまだ検討されていない。
2025年2月から6月までのフロンティアにおけるAIツールが、経験豊富なオープンソース開発者の生産性にどのように影響するかを理解するために、ランダム化制御トライアル(RCT)を実施しています。
適度なAI経験を持つ16人の開発者が、平均5年間の経験を持つ成熟したプロジェクトで246のタスクを完了した。
論文 参考訳(メタデータ) (2025-07-12T00:16:33Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [66.1850490474361]
コーディングエージェントとの開発者インタラクションを探求する最初の学術的研究を行う。
私たちは、GitHub CopilotとOpenHandsの2つの主要なコピロとエージェントコーディングアシスタントを評価します。
この結果から、エージェントは、コピロトを超越した方法で開発者を支援する可能性を示唆している。
論文 参考訳(メタデータ) (2025-07-10T20:12:54Z) - From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。
我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。
本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
論文 参考訳(メタデータ) (2025-06-24T15:39:20Z) - Towards Decoding Developer Cognition in the Age of AI Assistants [9.887133861477233]
本稿では,生理的計測(EEGとアイトラッキング)とインタラクションデータを組み合わせて,AI支援プログラミングツールの開発者による使用状況を調べるための制御された観察的研究を提案する。
私たちは、認知負荷とタスク完了時間を計測しながら、AIアシストの有無に関わらず、プログラムタスクを完了させるために、プロの開発者を募集します。
論文 参考訳(メタデータ) (2025-01-05T23:25:21Z) - Automated Code Review In Practice [1.6271516689052665]
Qodo、GitHub Copilot、CoderabbitなどのAI支援ツールが、大規模な言語モデル(LLM)を使用して自動レビューを提供する。
本研究では,LLMに基づく自動コードレビューツールが産業環境に与える影響について検討する。
論文 参考訳(メタデータ) (2024-12-24T16:24:45Z) - How much does AI impact development speed? An enterprise-based randomized controlled trial [8.759453531975668]
複雑なエンタープライズレベルのタスクに開発者が費やす時間に対する3つのAI機能の影響を見積もる。
また、コード関連のアクティビティに1日あたり何時間も費やす開発者は、AIがより速くなるという興味深い効果も見出しました。
論文 参考訳(メタデータ) (2024-10-16T18:31:14Z) - Does Co-Development with AI Assistants Lead to More Maintainable Code? A Registered Report [6.7428644467224]
本研究は,AIアシスタントがソフトウェア保守性に与える影響を検討することを目的とする。
フェーズ1では、開発者はAIアシスタントの助けなしに、Javaプロジェクトに新しい機能を追加する。
ランダム化されたコントロールされた試行のフェーズ2では、さまざまな開発者がランダムフェーズ1プロジェクトを進化させ、AIアシスタントなしで作業する。
論文 参考訳(メタデータ) (2024-08-20T11:48:42Z) - Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳(メタデータ) (2024-06-16T19:11:15Z) - Rethinking People Analytics With Inverse Transparency by Design [57.67333075002697]
我々は、デザインによる逆透過性(inverse transparency)と呼ぶ、労働分析のための新しい設計手法を提案する。
アーキテクチャの変更はコア機能を阻害することなく行われます。
我々は、デザインによる逆透明性は、受け入れられ、責任ある人々の分析を実現するための有望なアプローチである、と結論付けている。
論文 参考訳(メタデータ) (2023-05-16T21:37:35Z) - A Large-Scale Survey on the Usability of AI Programming Assistants:
Successes and Challenges [23.467373994306524]
実際には、開発者はAIプログラミングアシスタントの最初の提案を高い頻度で受け入れない。
これらのツールを使用して開発者のプラクティスを理解するため、多数の開発者を対象に調査を実施しました。
開発者がAIプログラミングアシスタントを使用する動機は、開発者がキーストロークを減らしたり、プログラミングタスクを素早く終了したり、構文をリコールするのに役立つためである。
また、開発者がこれらのツールを使用しない最も重要な理由は、これらのツールが特定の機能的あるいは非機能的要件に対処するコードを出力していないためです。
論文 参考訳(メタデータ) (2023-03-30T03:21:53Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳(メタデータ) (2023-02-14T18:43:34Z) - SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video
Games Using Risk Based Testing and Machine Learning [62.997667081978825]
従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。
自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。
この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
論文 参考訳(メタデータ) (2022-03-10T00:47:46Z) - How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。
我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
論文 参考訳(メタデータ) (2020-03-31T16:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。