論文の概要: Evaluating GPT's Programming Capability through CodeWars' Katas

• arxiv url: http://arxiv.org/abs/2306.01784v1
• Date: Wed, 31 May 2023 10:36:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-11 13:46:35.024157
• Title: Evaluating GPT's Programming Capability through CodeWars' Katas
• Title（参考訳）: CodeWars' KatasによるGPTのプログラミング能力の評価
• Authors: Zizhuo Zhang, Lian Wen, Shaoyang Zhang, David Chen, Yanfei Jiang
• Abstract要約: 本稿では,GPT(Generative Pretrained Transformer)モデルのプログラミング能力の新たな評価法を提案する。 実験では、これらのGPTモデルがソリューション提供に苦しむ3休レベルでの明確な境界を明らかにした。 この研究は、人間の問題解決技術をうまくエミュレートするために、AIモデルにおけるバリデーションと創造的な思考能力の必要性を強調している。
• 参考スコア（独自算出の注目度）: 0.5512295869673147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the burgeoning field of artificial intelligence (AI), understanding the capabilities and limitations of programming-oriented models is crucial. This paper presents a novel evaluation of the programming proficiency of Generative Pretrained Transformer (GPT) models, specifically GPT-3.5 and GPT-4, against coding problems of varying difficulty levels drawn from Codewars. The experiments reveal a distinct boundary at the 3kyu level, beyond which these GPT models struggle to provide solutions. These findings led to the proposal of a measure for coding problem complexity that incorporates both problem difficulty and the time required for solution. The research emphasizes the need for validation and creative thinking capabilities in AI models to better emulate human problem-solving techniques. Future work aims to refine this proposed complexity measure, enhance AI models with these suggested capabilities, and develop an objective measure for programming problem difficulty. The results of this research offer invaluable insights for improving AI programming capabilities and advancing the frontier of AI problem-solving abilities.
• Abstract（参考訳）: 人工知能(AI)の急成長する分野では、プログラミング指向モデルの能力と限界を理解することが重要である。 本稿では,生成事前学習型トランスフォーマー(GPT)モデル,特にGPT-3.5とGPT-4のプログラミング能力について,Codewarsから引き出された難易度の異なるコーディング問題に対して,新しい評価を行った。 実験では、これらのGPTモデルがソリューション提供に苦しむ3休レベルでの明確な境界を明らかにした。 これらの結果から,問題の難易度と解決に必要な時間の両方を組み込んだコーディング問題複雑性の尺度が提案された。 この研究は、人間の問題解決技術をうまくエミュレートするために、AIモデルにおける検証と創造的な思考能力の必要性を強調している。 今後の研究は、この提案された複雑性尺度を洗練し、提案された能力でAIモデルを強化し、プログラミングの問題の難しさに対する客観的な尺度を開発することを目的としている。 この研究の結果は、AIプログラミング能力を改善し、AI問題解決能力のフロンティアを前進させるための貴重な洞察を提供する。

関連論文リスト

• Estimating Difficulty Levels of Programming Problems with Pre-trained Model [18.92661958433282]
  プログラミング問題の難易度は、生徒の適応学習を導く上で不可欠な基準となっている。 テキスト記述とコードの解の例から,各プログラム問題の難易度自動推定の問題を定式化する。 この問題に対処するため,テキストモダリティとコードモダリティの2つの事前学習モデルを統一モデルに分割することを提案する。
  論文  参考訳（メタデータ） (2024-06-13T05:38:20Z)
• The Role of Code Proficiency in the Era of Generative AI [10.524937623398003]
  ジェネレーティブAIモデルは、開発者ワークスペースに不可欠なものになりつつある。 しかし、これらのモデルの多くに「ブラックボックス」の性質があるため、課題が浮かび上がっている。 このポジションペーパーは、これらの生成モデルに対する「白い箱」アプローチを提唱する。
  論文  参考訳（メタデータ） (2024-04-08T06:20:42Z)
• Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
  コードインテリジェンスタスクにおける即時学習の有効性について検討する。 既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。 本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T13:37:00Z)
• On the Challenges and Opportunities in Generative AI [135.2754367149689]
  現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。 本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• Comparing Software Developers with ChatGPT: An Empirical Investigation [0.0]
  本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。 この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-05-19T17:25:54Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Competition-Level Code Generation with AlphaCode [74.87216298566942]
  より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
  論文  参考訳（メタデータ） (2022-02-08T23:16:31Z)
• Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and Introspection [61.571331422347875]
  モデルの信号認識性を高めるためのデータ駆動型手法を提案する。 コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。 モデル信号認識における最大4.8倍の改善を実現している。
  論文  参考訳（メタデータ） (2021-11-10T17:58:18Z)
• Explainable AI for Software Engineering [12.552048647904591]
  まず、ソフトウェアエンジニアリングにおける説明可能なAIの必要性を強調します。 次に、上記の課題に対処するために、説明可能なAI技術をどのように利用できるか、という3つのケーススタディを要約する。
  論文  参考訳（メタデータ） (2020-12-03T00:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。