論文の概要: Evaluation of the Code Generation Capabilities of ChatGPT 4: A Comparative Analysis in 19 Programming Languages

• arxiv url: http://arxiv.org/abs/2501.02338v1
• Date: Sat, 04 Jan 2025 17:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:45.483482
• Title: Evaluation of the Code Generation Capabilities of ChatGPT 4: A Comparative Analysis in 19 Programming Languages
• Title（参考訳）: ChatGPTのコード生成能力の評価4:19言語の比較分析
• Authors: L. C. Gilbert,
• Abstract要約: この論文は、19のプログラミング言語にわたるコード生成におけるChatGPT 4の機能について考察する。 ChatGPT 4は全てのタスクの39.67%をうまく解決したが、複雑性が増大すると成功率は大幅に低下した。 このモデルは、全てのプログラミング言語で平均以上の実行効率を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This bachelor's thesis examines the capabilities of ChatGPT 4 in code generation across 19 programming languages. The study analyzed solution rates across three difficulty levels, types of errors encountered, and code quality in terms of runtime and memory efficiency through a quantitative experiment. A total of 188 programming problems were selected from the LeetCode platform, and ChatGPT 4 was given three attempts to produce a correct solution with feedback. ChatGPT 4 successfully solved 39.67% of all tasks, with success rates decreasing significantly as problem complexity increased. Notably, the model faced considerable challenges with hard problems across all languages. ChatGPT 4 demonstrated higher competence in widely used languages, likely due to a larger volume and higher quality of training data. The solution rates also revealed a preference for languages with low abstraction levels and static typing. For popular languages, the most frequent error was "Wrong Answer," whereas for less popular languages, compiler and runtime errors prevailed, suggesting frequent misunderstandings and confusion regarding the structural characteristics of these languages. The model exhibited above-average runtime efficiency in all programming languages, showing a tendency toward statically typed and low-abstraction languages. Memory efficiency results varied significantly, with above-average performance in 14 languages and below-average performance in five languages. A slight preference for low-abstraction languages and a leaning toward dynamically typed languages in terms of memory efficiency were observed. Future research should include a larger number of tasks, iterations, and less popular languages. Additionally, ChatGPT 4's abilities in code interpretation and summarization, debugging, and the development of complex, practical code could be analyzed further.
• Abstract（参考訳）: この学士論文は、19のプログラミング言語にわたるコード生成におけるChatGPT 4の能力を検証している。 この研究は、定量的な実験を通じて、3つの困難レベル、遭遇したエラーの種類、実行時とメモリ効率の面でのコード品質のソリューションレートを分析した。 合計188のプログラミング問題がLeetCodeプラットフォームから選択され、ChatGPT 4はフィードバックで正しいソリューションを作成するための3つの試みが与えられた。 ChatGPT 4は全てのタスクの39.67%をうまく解決したが、複雑性が増大すると成功率は大幅に低下した。 特に、このモデルは全ての言語で難しい問題に直面した。 ChatGPT 4は、おそらくトレーニングデータの量が大きく、品質が高いため、広く使われている言語で高い能力を示した。 ソリューションレートは、抽象レベルの低い言語と静的型付けの好みも明らかにした。 一般的な言語では、最も頻繁なエラーは "Wrong Answer" であるのに対して、あまり一般的でない言語ではコンパイラや実行時のエラーが流行し、これらの言語の構造的特性に関する誤解や混乱が頻発した。 このモデルは、全てのプログラミング言語で平均以上の実行効率を示し、静的型付けおよび低減算言語への傾向を示した。 メモリ効率は14言語で平均以上の性能、5言語で平均以下の性能で大きく変化した。 メモリ効率の観点から,低抽出言語に対する若干の嗜好と動的型付け言語への傾きが観察された。 今後の研究には、タスクの数やイテレーション、人気の低い言語などが含まれるはずだ。 さらに、ChatGPT 4のコード解釈と要約、デバッグ、複雑な実用的なコードの開発における能力をさらに分析することができる。

関連論文リスト

• An evaluation of LLM code generation capabilities through graded exercises [0.7070726553564699]
  我々は,8つのプログラミング言語における符号化問題の解法において,1つの最先端モデル(GPT4-o-mini)の性能を新たに評価する。 分析の結果,モデルの成功確率はタスクの難易度と正の相関があることがわかった。 モデル性能の46.6%はタスクの困難に起因する可能性があるが、37.4%はモデルのトレーニングセットへのチャレンジソリューションの漏洩に関連していると思われる。
  論文  参考訳（メタデータ） (2024-10-06T09:54:54Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• LINGOLY: A Benchmark of Olympiad-Level Linguistic Reasoning Puzzles in Low-Resource and Extinct Languages [8.754506364968394]
  LingOlyベンチマークは、大規模言語モデルにおける高度な推論能力のための新しいベンチマークである。 非常に低リソースまたは絶滅した言語における言語パターンの文脈内同定と一般化の能力を評価する。 直接精度と非文脈ベースラインとの比較により,暗記を暗記する性能を評価する。
  論文  参考訳（メタデータ） (2024-06-10T11:50:29Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Learning Transfers over Several Programming Languages [5.350495525141013]
  言語間転送は、ソース言語からのデータを使用して、ターゲット言語でのモデルパフォーマンスを改善する。 本稿では,変圧器を用いた大規模言語モデルと11から41のプログラミング言語を用いた4つのタスクに関する広範な実験を報告する。 学習は、複数のプログラミング言語間でうまく伝達される。
  論文  参考訳（メタデータ） (2023-10-25T19:04:33Z)
• A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
  単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。 プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。 抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-05T19:23:34Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• Measuring The Impact Of Programming Language Distribution [28.96076723773365]
  我々は,任意の言語におけるベンチマークの実行ベースの評価を行うためのBabelCodeフレームワークを提案する。 我々は Translating Python Programming Puzzles (TP3) と呼ばれる新しいコード翻訳データセットを提案する。 トレーニングデータセットにおける14の言語分布のバランスをとることで,低リソース言語における大規模言語モデルの性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-02-03T19:47:22Z)
• MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
  英語以外の自然言語コマンドからコード生成をベンチマークします。 スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。 難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
  論文  参考訳（メタデータ） (2022-03-16T04:21:50Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。