Fugu-MT 論文翻訳(概要): Assessing AI-Based Code Assistants in Method Generation Tasks

論文の概要: Assessing AI-Based Code Assistants in Method Generation Tasks

arxiv url: http://arxiv.org/abs/2402.09022v1
Date: Wed, 14 Feb 2024 08:52:45 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 16:18:26.348591
Title: Assessing AI-Based Code Assistants in Method Generation Tasks
Title（参考訳）: メソッド生成タスクにおけるAIベースのコードアシスタントの評価
Authors: Vincenzo Corso, Leonardo Mariani, Daniela Micucci and Oliviero Riganelli
Abstract要約: 今回の調査では、メソッド生成タスクにおいて、GitHub Copilot、Tabnine、ChatGPT、Google Bardの4つのAIベースのコードアシスタントを比較した。その結果、コードアシスタントは相補的な機能を持つが、適切なコードを生成することは滅多にない。
参考スコア（独自算出の注目度）: 5.32539007352208
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: AI-based code assistants are increasingly popular as a means to enhance productivity and improve code quality. This study compares four AI-based code assistants, GitHub Copilot, Tabnine, ChatGPT, and Google Bard, in method generation tasks, assessing their ability to produce accurate, correct, and efficient code. Results show that code assistants are useful, with complementary capabilities, although they rarely generate ready-to-use correct code.
Abstract（参考訳）: AIベースのコードアシスタントは、生産性を高め、コード品質を改善する手段として、ますます人気が高まっている。今回の研究では、メソッド生成タスクにおいて、GitHub Copilot、Tabnine、ChatGPT、Google Bardの4つのAIベースのコードアシスタントを比較し、正確で正確で効率的なコードを生成する能力を評価する。その結果、コードアシスタントは相補的な機能を持つが、適切なコードを生成することは滅多にない。

関連論文リスト

RepoGraph: Enhancing AI Software Engineering with Repository-level Code Graph [63.87660059104077]
RepoGraphは、現代のAIソフトウェアエンジニアリングソリューションのためのリポジトリレベルの構造を管理するプラグインモジュールである。 RepoGraphはすべてのシステムのパフォーマンスを大幅に向上させ、オープンソースフレームワークの間で新たな最先端技術を生み出している。
論文参考訳（メタデータ） (2024-10-03T05:45:26Z)
Does Co-Development with AI Assistants Lead to More Maintainable Code? A Registered Report [6.7428644467224]
本研究は,AIアシスタントがソフトウェア保守性に与える影響を検討することを目的とする。フェーズ1では、開発者はAIアシスタントの助けなしに、Javaプロジェクトに新しい機能を追加する。ランダム化されたコントロールされた試行のフェーズ2では、さまざまな開発者がランダムフェーズ1プロジェクトを進化させ、AIアシスタントなしで作業する。
論文参考訳（メタデータ） (2024-08-20T11:48:42Z)
Using AI-Based Coding Assistants in Practice: State of Affairs, Perceptions, and Ways Forward [9.177785129949]
私たちは、開発者がAIアシスタントをどのように使っているのかをよりよく理解することを目指しています。我々は、AIアシスタントの使用方法に関する大規模な調査を行った。
論文参考訳（メタデータ） (2024-06-11T23:10:43Z)
Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文参考訳（メタデータ） (2024-03-20T13:37:00Z)
Whodunit: Classifying Code as Human Authored or GPT-4 Generated -- A case study on CodeChef problems [0.13124513975412253]
コードスタイメトリーと機械学習を用いて、GPT-4の生成したコードと人間によるコードとを区別する。我々のデータセットは、CodeChefの人間認可ソリューションと、GPT-4で生成されたAI認可ソリューションから構成される。本研究は, GPT-4生成コードと人為的なコードとを区別する上で, コードスタイメトリーは有望なアプローチであることを示す。
論文参考訳（メタデータ） (2024-03-06T19:51:26Z)
Generating Java Methods: An Empirical Assessment of Four AI-Based Code Assistants [5.32539007352208]
私たちは、人気のあるAIベースのコードアシスタントであるGitHub Copilot、Tabnine、ChatGPT、Google Bardの4つの有効性を評価します。その結果、Copilotは他のテクニックよりも正確であることが多いが、他のアプローチによって完全に仮定されるアシスタントは存在しないことが判明した。
論文参考訳（メタデータ） (2024-02-13T12:59:20Z)
Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文参考訳（メタデータ） (2023-02-14T18:43:34Z)
Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets [0.0]
この研究は、AI駆動のコードアシスタントを使用して、現代技術を形成する影響力のあるコンピュータコードの選択を分析する。この研究の最初の貢献は、過去50年で最も重要なコードの進歩の半分を調査することであった。
論文参考訳（メタデータ） (2023-01-05T23:17:17Z)
Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文参考訳（メタデータ） (2022-04-07T08:49:27Z)
ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2022-03-15T08:25:08Z)
Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。