論文の概要: Assessing AI-Based Code Assistants in Method Generation Tasks
- arxiv url: http://arxiv.org/abs/2402.09022v1
- Date: Wed, 14 Feb 2024 08:52:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 16:18:26.348591
- Title: Assessing AI-Based Code Assistants in Method Generation Tasks
- Title(参考訳): メソッド生成タスクにおけるAIベースのコードアシスタントの評価
- Authors: Vincenzo Corso, Leonardo Mariani, Daniela Micucci and Oliviero
Riganelli
- Abstract要約: 今回の調査では、メソッド生成タスクにおいて、GitHub Copilot、Tabnine、ChatGPT、Google Bardの4つのAIベースのコードアシスタントを比較した。
その結果、コードアシスタントは相補的な機能を持つが、適切なコードを生成することは滅多にない。
- 参考スコア(独自算出の注目度): 5.32539007352208
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI-based code assistants are increasingly popular as a means to enhance
productivity and improve code quality. This study compares four AI-based code
assistants, GitHub Copilot, Tabnine, ChatGPT, and Google Bard, in method
generation tasks, assessing their ability to produce accurate, correct, and
efficient code. Results show that code assistants are useful, with
complementary capabilities, although they rarely generate ready-to-use correct
code.
- Abstract(参考訳): AIベースのコードアシスタントは、生産性を高め、コード品質を改善する手段として、ますます人気が高まっている。
今回の研究では、メソッド生成タスクにおいて、GitHub Copilot、Tabnine、ChatGPT、Google Bardの4つのAIベースのコードアシスタントを比較し、正確で正確で効率的なコードを生成する能力を評価する。
その結果、コードアシスタントは相補的な機能を持つが、適切なコードを生成することは滅多にない。
関連論文リスト
- Whodunit: Classifying Code as Human Authored or GPT-4 Generated -- A
case study on CodeChef problems [0.13124513975412253]
コードスタイメトリーと機械学習を用いて、GPT-4の生成したコードと人間によるコードとを区別する。
我々のデータセットは、CodeChefの人間認可ソリューションと、GPT-4で生成されたAI認可ソリューションから構成される。
本研究は, GPT-4生成コードと人為的なコードとを区別する上で, コードスタイメトリーは有望なアプローチであることを示す。
論文 参考訳(メタデータ) (2024-03-06T19:51:26Z) - Generating Java Methods: An Empirical Assessment of Four AI-Based Code
Assistants [5.32539007352208]
私たちは、人気のあるAIベースのコードアシスタントであるGitHub Copilot、Tabnine、ChatGPT、Google Bardの4つの有効性を評価します。
その結果、Copilotは他のテクニックよりも正確であることが多いが、他のアプローチによって完全に仮定されるアシスタントは存在しないことが判明した。
論文 参考訳(メタデータ) (2024-02-13T12:59:20Z) - Students' Perspective on AI Code Completion: Benefits and Challenges [3.1498833540989413]
学生の視点から,AIコード補完のメリット,課題,期待について検討した。
その結果、AIコード補完は、正しい構文提案を提供することで、学生の生産性と効率を向上させることがわかった。
しかし、AIコード補完に対する過度な信頼は、プログラミング概念の表面レベルでの理解につながる可能性がある。
論文 参考訳(メタデータ) (2023-10-31T22:41:16Z) - AI for Low-Code for AI [8.379047663193422]
LowCoderは、ビジュアルプログラミングインターフェースとAI駆動の自然言語インターフェースの両方をサポートするAIパイプラインを開発するための、最初のローコードツールである。
私たちは、LowCoderを使用して4つのMLパイプラインを実装することで、さまざまなレベルのAI専門知識を持つ20人の開発者をタスクします。
参加者はLowCoder_NLを使用して、75%のタスクで新しい演算子を発見しました。
論文 参考訳(メタデータ) (2023-05-31T16:44:03Z) - Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets [0.0]
この研究は、AI駆動のコードアシスタントを使用して、現代技術を形成する影響力のあるコンピュータコードの選択を分析する。
この研究の最初の貢献は、過去50年で最も重要なコードの進歩の半分を調査することであった。
論文 参考訳(メタデータ) (2023-01-05T23:17:17Z) - RMBench: Benchmarking Deep Reinforcement Learning for Robotic
Manipulator Control [47.61691569074207]
強化学習は、高次元の感覚入力から実際の複雑なタスクを解決するために応用される。
生の知覚信号表現における深層学習の最近の進歩
ロボット操作のための最初のベンチマークであるRMBenchを紹介する。
論文 参考訳(メタデータ) (2022-10-20T13:34:26Z) - Enhancing Semantic Code Search with Multimodal Contrastive Learning and
Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。
我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-04-07T08:49:27Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳(メタデータ) (2022-02-08T23:16:31Z) - The MineRL BASALT Competition on Learning from Human Feedback [58.17897225617566]
MineRL BASALTコンペティションは、この重要な種類の技術の研究を促進することを目的としている。
Minecraftでは、ハードコードされた報酬関数を書くのが難しいと期待する4つのタスクのスイートを設計しています。
これら4つのタスクのそれぞれについて、人間のデモのデータセットを提供するとともに、模擬学習ベースラインを提供する。
論文 参考訳(メタデータ) (2021-07-05T12:18:17Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。