論文の概要: A Comparative Study of Code Generation using ChatGPT 3.5 across 10 Programming Languages

• arxiv url: http://arxiv.org/abs/2308.04477v1
• Date: Tue, 8 Aug 2023 15:02:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 16:29:13.169881
• Title: A Comparative Study of Code Generation using ChatGPT 3.5 across 10 Programming Languages
• Title（参考訳）: 10言語にわたるChatGPT 3.5を用いたコード生成の比較検討
• Authors: Alessio Buscemi
• Abstract要約: LLM(Large Language Models)は、高度な人工知能(AI)システムである。 本研究では,2022年11月にOpenAIがリリースしたLLMであるChatGPT 3.5の符号化能力について検討する。 コードスニペットを作成する際のモデルのスキルは、10の異なるプログラミング言語と4つの異なるソフトウェアドメインで評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are advanced Artificial Intelligence (AI) systems that have undergone extensive training using large datasets in order to understand and produce language that closely resembles that of humans. These models have reached a level of proficiency where they are capable of successfully completing university exams across several disciplines and generating functional code to handle novel problems. This research investigates the coding proficiency of ChatGPT 3.5, a LLM released by OpenAI in November 2022, which has gained significant recognition for its impressive text generating and code creation capabilities. The skill of the model in creating code snippets is evaluated across 10 various programming languages and 4 different software domains. Based on the findings derived from this research, major unexpected behaviors and limitations of the model have been identified. This study aims to identify potential areas for development and examine the ramifications of automated code generation on the evolution of programming languages and on the tech industry.
• Abstract（参考訳）: LLM(Large Language Models)は、人工知能(AI)システムで、人間のものとよく似た言語を理解し生産するために、大規模なデータセットを使用して広範囲に訓練されている。 これらのモデルは、いくつかの分野にわたる大学試験を成功させ、新しい問題に対処する機能コードを生成する能力のレベルに達している。 本研究は,2022年11月にOpenAIがリリースしたLLMであるChatGPT 3.5の符号化能力について検討した。 コードスニペットを作成する際のモデルのスキルは、10の異なるプログラミング言語と4つの異なるソフトウェアドメインで評価される。 本研究から得られた知見に基づき, モデルの主な予期せぬ挙動と限界が同定された。 本研究は,プログラミング言語の進化と技術産業における自動コード生成の意義を明らかにすることを目的としている。

関連論文リスト

• Code Generation and Algorithmic Problem Solving Using Llama 3.1 405B [0.0]
  Llama駆動のコード生成は、自然言語プロンプトを複数のプログラミング言語で実行可能なコードに変換することができる。 Llamaは、あらゆるスキルレベルの開発者にとって汎用的なツールとして機能し、ソフトウェア開発の生産性と効率を改善します。 教育、産業、そしてコーディングプラクティスの将来への潜在的影響についても論じる。
  論文  参考訳（メタデータ） (2024-09-26T13:29:20Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Automatic Generation of Programming Exercises and Code Explanations with Large Language Models [4.947560475228859]
  OpenAI Codexは、GPT-3ファミリーの最近の大規模言語モデルで、コードを自然言語に翻訳する。 プログラミング演習の2つの段階において,Codexの自然言語生成能力について検討する。 自動生成されるコンテンツの大部分は、新しいものでも、理にかなったものでも、多くの場合、そのまま使えるものなのです。
  論文  参考訳（メタデータ） (2022-06-03T11:00:43Z)
• MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
  英語以外の自然言語コマンドからコード生成をベンチマークします。 スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。 難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
  論文  参考訳（メタデータ） (2022-03-16T04:21:50Z)
• Competition-Level Code Generation with AlphaCode [74.87216298566942]
  より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
  論文  参考訳（メタデータ） (2022-02-08T23:16:31Z)
• Project CodeNet: A Large-Scale AI for Code Dataset for Learning a Diversity of Coding Tasks [11.10732802304274]
  Project CodeNetは、1400万のコードサンプルと55の異なるプログラミング言語で約5億行のコードで構成されている。 Project CodeNetは、その規模だけでなく、ベンチマークに役立つコーディングタスクの多様性にも特有である。
  論文  参考訳（メタデータ） (2021-05-25T00:13:29Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• Automated Source Code Generation and Auto-completion Using Deep Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
  本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。 それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
  論文  参考訳（メタデータ） (2020-09-16T15:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。