論文の概要: Productivity Assessment of Neural Code Completion
- arxiv url: http://arxiv.org/abs/2205.06537v1
- Date: Fri, 13 May 2022 09:53:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 20:21:30.646284
- Title: Productivity Assessment of Neural Code Completion
- Title(参考訳): ニューラルコード補完の生産性評価
- Authors: Albert Ziegler, Eirini Kalliamvakou, Shawn Simister, Ganesh
Sittampalam, Alice Li, Andrew Rice, Devon Rifkin, and Edward Aftandilian
- Abstract要約: 私たちは、GitHub Copilotのユーザに対して、生産性への影響について尋ね、直接測定可能なユーザデータの認識の反映を見つけようとしています。
提案された提案が受け入れられる確率は、コード内の完了の持続性に関するより具体的な指標よりも、開発者の生産性に対する認識を促進することが分かっています。
- 参考スコア(独自算出の注目度): 4.821593904732654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural code synthesis has reached a point where snippet generation is
accurate enough to be considered for integration into human software
development workflows. Commercial products aim to increase programmers'
productivity, without being able to measure it directly. In this case study, we
asked users of GitHub Copilot about its impact on their productivity, and
sought to find a reflection of their perception in directly measurable user
data. We find that the rate with which shown suggestions are accepted, rather
than more specific metrics regarding the persistence of completions in the code
over time, drives developers' perception of productivity.
- Abstract(参考訳): ニューラルコード合成は、スニペット生成が人間のソフトウェア開発ワークフローへの統合を考えるのに十分な精度に達している。
商用製品は、直接測定することなく、プログラマの生産性を向上させることを目指している。
このケーススタディでは、GitHub Copilotのユーザに対して、生産性への影響について質問し、直接測定可能なユーザデータに対する認識の反映を見つけようとしました。
提案が受け入れられる割合は、コード内の完了の持続性に関するより具体的な指標ではなく、開発者の生産性に対する認識を後押ししていることが分かりました。
関連論文リスト
- Collaborative, Code-Proximal Dynamic Software Visualization within Code
Editors [55.57032418885258]
本稿では,コードエディタに組み込むソフトウェアビジュアライゼーション手法の設計と実装について紹介する。
私たちのコントリビューションは、ソフトウェアシステムの実行時の動作の動的解析を使用するという点で、関連する作業と異なります。
私たちの視覚化アプローチは、一般的なリモートペアプログラミングツールを強化し、共有コード都市を利用することで協調的に使用できます。
論文 参考訳(メタデータ) (2023-08-30T06:35:40Z) - Who is the Real Hero? Measuring Developer Contribution via
Multi-dimensional Data Integration [8.735393610868435]
開発者のコントリビューションを測定するための多次元情報融合に基づくアプローチであるCValueを提案する。
CValueは4次元のソースコードから構文情報と意味情報を抽出する。
プロジェクト内の各コミットに対するコントリビューションスコアを生成するために、情報をフューズする。
論文 参考訳(メタデータ) (2023-08-17T13:57:44Z) - ReviewRanker: A Semi-Supervised Learning Based Approach for Code Review
Quality Estimation [0.6895577977557867]
レビュープロセスの有効性と継続的改善の検査は、開発生産性を高めることができる。
本稿では,各コードレビューに信頼性スコアを割り当てることを目的とした,半教師付き学習システムであるReviewRankerを提案する。
提案手法は,開発者が提供したシンプルで明確なラベルに基づいて訓練される。
論文 参考訳(メタデータ) (2023-07-08T15:37:48Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-18T15:35:43Z) - Aligning Offline Metrics and Human Judgments of Value for Code
Generation Models [25.726216146776054]
正確性は高価値な世代をキャプチャするが、プログラマは、コーディングタスクの完了に必要な全体的な労力を減らすことで、単体テストに失敗するコードを価値として評価する。
本稿では,機能的正しさと構文的類似性を組み合わせたハイブリッド計量を提案し,値との相関が14%強いことを示す。
論文 参考訳(メタデータ) (2022-10-29T05:03:28Z) - Learning to Prevent Profitless Neural Code Completion [8.99695131692619]
2,631人の参加者による調査によると、Copilotから表示されたコード補完の約70%は、開発者に受け入れられていない。
大型モデルの高コストを考えると、これは計算資源とエネルギーの膨大な無駄である。
そこで本研究では,LCMに送信することなく,完了品質を予知することで,低リターンプロンプトを停止させる早期のリジェクション機構を提案する。
論文 参考訳(メタデータ) (2022-09-13T12:43:41Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data
Programming [77.38174112525168]
私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
論文 参考訳(メタデータ) (2022-03-02T19:57:32Z) - The Mind Is a Powerful Place: How Showing Code Comprehensibility Metrics
Influences Code Understanding [10.644832702859484]
ソースコードの理解度を示す指標が,ソースコードの理解度を主観的に評価する上で,開発者を悩ませるかどうかを検討する。
その結果、理解度測定値の表示値は、開発者のコード理解度評価に大きく、かつ大きなアンカー効果があることがわかった。
論文 参考訳(メタデータ) (2020-12-16T14:27:45Z) - Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。
本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。
視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
論文 参考訳(メタデータ) (2020-07-26T12:39:15Z) - How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。
我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
論文 参考訳(メタデータ) (2020-03-31T16:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。