論文の概要: A Preliminary Analysis on the Code Generation Capabilities of GPT-3.5 and Bard AI Models for Java Functions

• arxiv url: http://arxiv.org/abs/2305.09402v1
• Date: Tue, 16 May 2023 12:44:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 14:56:43.336485
• Title: A Preliminary Analysis on the Code Generation Capabilities of GPT-3.5 and Bard AI Models for Java Functions
• Title（参考訳）: Java 関数用 GPT-3.5 および Bard AI モデルのコード生成能力に関する予備的検討
• Authors: Giuseppe Destefanis, Silvia Bartolucci, Marco Ortu
• Abstract要約: GPT-3.5は優れた性能を示し、関数記述の約90.6%の正しいコードを生成する。 Bardは53.1%の関数に対して正しいコードを生成する。
• 参考スコア（独自算出の注目度）: 5.0232749277810615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper evaluates the capability of two state-of-the-art artificial intelligence (AI) models, GPT-3.5 and Bard, in generating Java code given a function description. We sourced the descriptions from CodingBat.com, a popular online platform that provides practice problems to learn programming. We compared the Java code generated by both models based on correctness, verified through the platform's own test cases. The results indicate clear differences in the capabilities of the two models. GPT-3.5 demonstrated superior performance, generating correct code for approximately 90.6% of the function descriptions, whereas Bard produced correct code for 53.1% of the functions. While both models exhibited strengths and weaknesses, these findings suggest potential avenues for the development and refinement of more advanced AI-assisted code generation tools. The study underlines the potential of AI in automating and supporting aspects of software development, although further research is required to fully realize this potential.
• Abstract（参考訳）: 本稿では2つの最先端人工知能(AI)モデルであるGPT-3.5とBardのJavaコード生成機能について述べる。 プログラミングを学ぶための実践的問題を提供する人気のあるオンラインプラットフォームであるcodingbat.comから、その説明をオープンソース化しました。 両モデルによって生成されたjavaコードを、プラットフォーム自身のテストケースで検証した正確性に基づいて比較した。 その結果,両モデルの能力に明らかな差異が認められた。 GPT-3.5は、関数記述の90.6%で正しいコードを生成するのに対して、Bardは53.1%で正しいコードを生成する。 どちらのモデルも長所と短所を示したが、これらの発見は、より高度なAI支援コード生成ツールの開発と改善のための潜在的な道のりを示唆している。 この研究は、ソフトウェア開発の自動化と支援におけるAIの可能性の基盤となっているが、この可能性を完全に実現するためにはさらなる研究が必要である。

関連論文リスト

• Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers [0.0]
  本稿では、ChatGPT、Gemini(Bard AI)、AlphaCode、GitHub Copilotなど、主要なプログラミングアシスタントの徹底的な評価を行う。 AIモデルの潜在能力を具現化する倫理的開発プラクティスの必要性を強調している。
  論文  参考訳（メタデータ） (2024-11-14T06:40:55Z)
• Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
  我々はGeneInputという新しい生成入力パラダイムを提案する。 すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。 その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
  論文  参考訳（メタデータ） (2023-11-02T12:01:29Z)
• AI-enhanced Auto-correction of Programming Exercises: How Effective is GPT-3.5? [0.0]
  本稿では、パーソナライズされたコード修正とフィードバック生成におけるAIの可能性について検討する。 GPT-3.5は、実際のエラーではないエラーのローカライズや、幻覚的エラーなど、評価の弱点を示した。
  論文  参考訳（メタデータ） (2023-10-24T10:35:36Z)
• A comprehensible analysis of the efficacy of Ensemble Models for Bug Prediction [0.0]
  我々は,単一のAIモデルとアンサンブルAIモデルという,2つのAIベースのアプローチの比較と分析を行い,Javaクラスがバグのある確率を予測する。 実験結果から,AIモデルのアンサンブルは,個々のAIモデルの適用結果より優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-10-18T17:43:54Z)
• Automating Human Tutor-Style Programming Feedback: Leveraging GPT-4 Tutor Model for Hint Generation and GPT-3.5 Student Model for Hint Validation [25.317788211120362]
  本稿では,人間の教師型プログラミングヒントの提供における生成型AIモデルの役割について検討する。 最近の研究は、様々なフィードバック生成シナリオのための最先端モデルのベンチマークを行っている。 我々はGPT4Hints-GPT3.5Valという新しい手法を開発し、生成AIモデルの限界を推し進める。
  論文  参考訳（メタデータ） (2023-10-05T17:02:59Z)
• SoTaNa: The Open-Source Software Development Assistant [81.86136560157266]
  SoTaNaはオープンソースのソフトウェア開発アシスタントだ。 ソフトウェア工学の分野のための高品質な命令ベースのデータを生成する。 オープンソースの基盤モデルであるLLaMAを強化するためにパラメータ効率のよい微調整アプローチを採用している。
  論文  参考訳（メタデータ） (2023-08-25T14:56:21Z)
• A Comparative Study of Code Generation using ChatGPT 3.5 across 10 Programming Languages [0.0]
  LLM(Large Language Models)は、高度な人工知能(AI)システムである。 本研究では,2022年11月にOpenAIがリリースしたLLMであるChatGPT 3.5の符号化能力について検討する。 コードスニペットを作成する際のモデルのスキルは、10の異なるプログラミング言語と4つの異なるソフトウェアドメインで評価される。
  論文  参考訳（メタデータ） (2023-08-08T15:02:32Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• Competition-Level Code Generation with AlphaCode [74.87216298566942]
  より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
  論文  参考訳（メタデータ） (2022-02-08T23:16:31Z)
• Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and Introspection [61.571331422347875]
  モデルの信号認識性を高めるためのデータ駆動型手法を提案する。 コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。 モデル信号認識における最大4.8倍の改善を実現している。
  論文  参考訳（メタデータ） (2021-11-10T17:58:18Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。