論文の概要: Generating Java Methods: An Empirical Assessment of Four AI-Based Code Assistants

• arxiv url: http://arxiv.org/abs/2402.08431v2
• Date: Wed, 14 Feb 2024 10:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 11:56:53.482415
• Title: Generating Java Methods: An Empirical Assessment of Four AI-Based Code Assistants
• Title（参考訳）: Javaメソッドの生成: 4つのAIベースのコードアシスタントの実証評価
• Authors: Vincenzo Corso, Leonardo Mariani, Daniela Micucci and Oliviero Riganelli
• Abstract要約: 私たちは、人気のあるAIベースのコードアシスタントであるGitHub Copilot、Tabnine、ChatGPT、Google Bardの4つの有効性を評価します。 その結果、Copilotは他のテクニックよりも正確であることが多いが、他のアプローチによって完全に仮定されるアシスタントは存在しないことが判明した。
• 参考スコア（独自算出の注目度）: 5.32539007352208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI-based code assistants are promising tools that can facilitate and speed up code development. They exploit machine learning algorithms and natural language processing to interact with developers, suggesting code snippets (e.g., method implementations) that can be incorporated into projects. Recent studies empirically investigated the effectiveness of code assistants using simple exemplary problems (e.g., the re-implementation of well-known algorithms), which fail to capture the spectrum and nature of the tasks actually faced by developers. In this paper, we expand the knowledge in the area by comparatively assessing four popular AI-based code assistants, namely GitHub Copilot, Tabnine, ChatGPT, and Google Bard, with a dataset of 100 methods that we constructed from real-life open-source Java projects, considering a variety of cases for complexity and dependency from contextual elements. Results show that Copilot is often more accurate than other techniques, yet none of the assistants is completely subsumed by the rest of the approaches. Interestingly, the effectiveness of these solutions dramatically decreases when dealing with dependencies outside the boundaries of single classes.
• Abstract（参考訳）: aiベースのコードアシスタントは、コード開発を容易化し、スピードアップできる有望なツールである。 彼らは機械学習アルゴリズムと自然言語処理を利用して開発者と対話し、プロジェクトに組み込むことのできるコードスニペット(例えばメソッドの実装)を提案する。 最近の研究は、開発者が実際に直面するタスクのスペクトルと性質を捉えない単純な例題問題(よく知られたアルゴリズムの再実装など)を用いたコードアシスタントの有効性を実証的に研究している。 本稿では、GitHub Copilot、Tabnine、ChatGPT、Google Bardという4つの人気のあるAIベースのコードアシスタントを、実生活のオープンソースJavaプロジェクトから構築した100のメソッドのデータセットで比較し、コンテキスト要素からの複雑さと依存性のさまざまなケースを考慮して、この分野の知識を拡大する。 その結果、Copilotは他のテクニックよりも正確であることが多いが、他のアプローチによって完全に仮定されるアシスタントは存在しない。 興味深いことに、これらのソリューションの有効性は、単一のクラスの境界外で依存関係を扱うときに劇的に低下する。

関連論文リスト

• RepoGraph: Enhancing AI Software Engineering with Repository-level Code Graph [63.87660059104077]
  RepoGraphは、現代のAIソフトウェアエンジニアリングソリューションのためのリポジトリレベルの構造を管理するプラグインモジュールである。 RepoGraphはすべてのシステムのパフォーマンスを大幅に向上させ、オープンソースフレームワークの間で新たな最先端技術を生み出している。
  論文  参考訳（メタデータ） (2024-10-03T05:45:26Z)
• Assessing AI-Based Code Assistants in Method Generation Tasks [5.32539007352208]
  今回の調査では、メソッド生成タスクにおいて、GitHub Copilot、Tabnine、ChatGPT、Google Bardの4つのAIベースのコードアシスタントを比較した。 その結果、コードアシスタントは相補的な機能を持つが、適切なコードを生成することは滅多にない。
  論文  参考訳（メタデータ） (2024-02-14T08:52:45Z)
• Developer Experiences with a Contextualized AI Coding Assistant: Usability, Expectations, and Outcomes [11.520721038793285]
  この研究は、コンテキスト化されたコーディングAIアシスタントであるStackSpot AIを制御された環境で使用した62人の参加者の初期体験に焦点を当てる。 アシスタントの使用は、大幅な時間を節約し、ドキュメントへのアクセスを容易にし、内部APIの正確なコードを生成する結果となった。 コーディングアシスタントが、複雑なコードを扱う際の変数応答や制限と同様に、よりコンテキスト情報にアクセスできるようにするために必要な知識ソースに関連する課題が観察された。
  論文  参考訳（メタデータ） (2023-11-30T10:52:28Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Comparing Software Developers with ChatGPT: An Empirical Investigation [0.0]
  本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。 この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-05-19T17:25:54Z)
• How Generative AI models such as ChatGPT can be (Mis)Used in SPC Practice, Education, and Research? An Exploratory Study [2.0841728192954663]
  生成人工知能(AI)モデルは、統計的プロセス制御(SPC)の実践、学習、研究に革命をもたらす可能性がある。 これらのツールは開発の初期段階にあり、簡単に誤用されるか、誤解される可能性がある。 コードを提供し、基本的な概念を説明し、SPCの実践、学習、研究に関する知識を創造するChatGPTの能力を探求する。
  論文  参考訳（メタデータ） (2023-02-17T15:48:37Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets [0.0]
  この研究は、AI駆動のコードアシスタントを使用して、現代技術を形成する影響力のあるコンピュータコードの選択を分析する。 この研究の最初の貢献は、過去50年で最も重要なコードの進歩の半分を調査することであった。
  論文  参考訳（メタデータ） (2023-01-05T23:17:17Z)
• Divide & Conquer Imitation Learning [75.31752559017978]
  模倣学習は学習プロセスをブートストラップするための強力なアプローチである。 本稿では,専門的軌道の状態から複雑なロボットタスクを模倣する新しいアルゴリズムを提案する。 提案手法は,非ホロノミックナビゲーションタスクを模倣し,非常に高いサンプル効率で複雑なロボット操作タスクにスケールすることを示す。
  論文  参考訳（メタデータ） (2022-04-15T09:56:50Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• Competition-Level Code Generation with AlphaCode [74.87216298566942]
  より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
  論文  参考訳（メタデータ） (2022-02-08T23:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。