論文の概要: Evaluation of the Programming Skills of Large Language Models

• arxiv url: http://arxiv.org/abs/2405.14388v1
• Date: Thu, 23 May 2024 10:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:54:01.881806
• Title: Evaluation of the Programming Skills of Large Language Models
• Title（参考訳）: 大規模言語モデルのプログラミングスキルの評価
• Authors: Luc Bryan Heitz, Joun Chamas, Christopher Scherb,
• Abstract要約: 大規模言語モデル(LLM)は、タスクが完了する効率とスピードに革命をもたらした。 本稿では,OpenAI の ChatGPT と Google の Gemini AI の2つの主要な LLM の出力品質を,双方のフリーバージョンで生成されたプログラミングコードの品質と比較することにより,批判的に検証する。
• 参考スコア（独自算出の注目度）: 0.16385815610837165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of Large Language Models (LLM) has revolutionized the efficiency and speed with which tasks are completed, marking a significant leap in productivity through technological innovation. As these chatbots tackle increasingly complex tasks, the challenge of assessing the quality of their outputs has become paramount. This paper critically examines the output quality of two leading LLMs, OpenAI's ChatGPT and Google's Gemini AI, by comparing the quality of programming code generated in both their free versions. Through the lens of a real-world example coupled with a systematic dataset, we investigate the code quality produced by these LLMs. Given their notable proficiency in code generation, this aspect of chatbot capability presents a particularly compelling area for analysis. Furthermore, the complexity of programming code often escalates to levels where its verification becomes a formidable task, underscoring the importance of our study. This research aims to shed light on the efficacy and reliability of LLMs in generating high-quality programming code, an endeavor that has significant implications for the field of software development and beyond.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、タスクが完了する効率とスピードに革命をもたらした。 これらのチャットボットがますます複雑なタスクに取り組むにつれ、アウトプットの品質を評価するという課題が最重要になっている。 本稿では,OpenAI の ChatGPT と Google の Gemini AI の2つの主要な LLM の出力品質を,双方のフリーバージョンで生成されたプログラミングコードの品質と比較することにより,批判的に検証する。 実世界のサンプルのレンズとシステマティックなデータセットを組み合わせることで,これらのLLMが生成するコード品質について検討する。 コード生成の卓越した熟練性を考えると、チャットボットの機能のこの側面は特に解析の魅力的な領域を示している。 さらに、プログラミングコードの複雑さは、その検証が恐ろしいタスクになるレベルにエスカレーションされ、我々の研究の重要性が強調される。 本研究は,高品質なプログラミングコードを生成する上で,LCMの有効性と信頼性を軽視することを目的としている。

関連論文リスト

• Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [49.998130983414924]
  LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。 本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
  論文  参考訳（メタデータ） (2025-02-19T17:53:59Z)
• Resource-Efficient & Effective Code Summarization [3.512140256677132]
  QLoRAのようなGreenAI技術は、大規模モデルのサステナビリティを扱うための有望なパスを提供する。 本研究では,Python と Java の2つのプログラミング言語にまたがる最先端の CLM の評価を行った。 その結果、QLoRAはコード要約のためのCLMを効率的に微調整できることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T21:06:30Z)
• Analysis of Student-LLM Interaction in a Software Engineering Project [1.2233362977312945]
  我々は、ソフトウェア工学学習におけるAIのメリットを理解するために、13週間の学期で126人の学部生とAIアシスタントとのインタラクションを分析した。 以上の結果から,CoPilotよりもChatGPTが好ましいことが示唆された。 会話ベースのインタラクションは、自動生成コードと比較して生成されたコードの品質を改善するのに役立つ。
  論文  参考訳（メタデータ） (2025-02-03T11:44:00Z)
• Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
  大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。 最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。 プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
  DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• Testing LLMs on Code Generation with Varying Levels of Prompt Specificity [0.0]
  大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。 自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
  論文  参考訳（メタデータ） (2023-11-10T23:41:41Z)
• No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT [28.68768157452352]
  本稿では,ChatGPTを用いたコード生成の質について検討する。 私たちは5つの言語(C、C++、Java、Python、JavaScript)で728のアルゴリズム問題と、コード生成タスクの54のコードシナリオを持つ18のCWEを活用しています。 この結果から,ChatGPTベースのコード生成に生じる潜在的な問題や限界が明らかになった。
  論文  参考訳（メタデータ） (2023-08-09T10:01:09Z)
• An Empirical Study of AI-based Smart Contract Creation [4.801455786801489]
  スマートコントラクト生成のためのChatGPTやGoogle Palm2のような大規模言語モデル(LLM)は、AIペアプログラマとして初めて確立されたインスタンスであるようだ。 本研究の目的は,LLMがスマートコントラクトに対して提供する生成コードの品質を評価することである。
  論文  参考訳（メタデータ） (2023-08-05T21:38:57Z)
• Competition-Level Code Generation with AlphaCode [74.87216298566942]
  より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
  論文  参考訳（メタデータ） (2022-02-08T23:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。