Fugu-MT 論文翻訳(概要): Are Large Language Models a Threat to Programming Platforms? An Exploratory Study

論文の概要: Are Large Language Models a Threat to Programming Platforms? An Exploratory Study

arxiv url: http://arxiv.org/abs/2409.05824v1
Date: Mon, 9 Sep 2024 17:30:20 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 13:46:22.147331
Title: Are Large Language Models a Threat to Programming Platforms? An Exploratory Study
Title（参考訳）: 大規模言語モデルはプログラミングプラットフォームへの脅威か? : 探索的研究
Authors: Md Mustakim Billah, Palash Ranjan Roy, Zadia Codabux, Banani Roy,
Abstract要約: 大規模言語モデル(LLM)は、様々な困難を伴う多様なプログラミング課題に対処する。本研究では,様々な難易度を持つプラットフォーム間の多様なプログラミング課題にLLMが取り組む能力について検討する。私たちはLeetCodeから98の問題、Codeforcesから126の問題を15のカテゴリでテストしました。
参考スコア（独自算出の注目度）: 2.304914644824781
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Competitive programming platforms like LeetCode, Codeforces, and HackerRank evaluate programming skills, often used by recruiters for screening. With the rise of advanced Large Language Models (LLMs) such as ChatGPT, Gemini, and Meta AI, their problem-solving ability on these platforms needs assessment. This study explores LLMs' ability to tackle diverse programming challenges across platforms with varying difficulty, offering insights into their real-time and offline performance and comparing them with human programmers. We tested 98 problems from LeetCode, 126 from Codeforces, covering 15 categories. Nine online contests from Codeforces and LeetCode were conducted, along with two certification tests on HackerRank, to assess real-time performance. Prompts and feedback mechanisms were used to guide LLMs, and correlations were explored across different scenarios. LLMs, like ChatGPT (71.43% success on LeetCode), excelled in LeetCode and HackerRank certifications but struggled in virtual contests, particularly on Codeforces. They performed better than users in LeetCode archives, excelling in time and memory efficiency but underperforming in harder Codeforces contests. While not immediately threatening, LLMs performance on these platforms is concerning, and future improvements will need addressing.
Abstract（参考訳）: LeetCode、Codeforces、HackerRankといった競合するプログラミングプラットフォームは、しばしば採用者がスクリーニングに使用するプログラミングスキルを評価している。 ChatGPT、Gemini、Meta AIといった先進的な大規模言語モデル(LLM)の台頭に伴い、これらのプラットフォームにおける問題解決能力は評価が必要である。本研究では,LLMがプラットフォーム間のさまざまなプログラミング課題に対処し,リアルタイムおよびオフラインのパフォーマンスに関する洞察を提供し,人間プログラマと比較する能力について検討する。私たちはLeetCodeから98の問題、Codeforcesから126の問題を15のカテゴリでテストしました。 CodeforcesとLeetCodeの9つのオンラインコンテストが、リアルタイムのパフォーマンスを評価するために、HackerRankの2つの認定テストとともに実施された。 LLMのガイドにはプロンプトとフィードバック機構が使用され、様々なシナリオで相関関係が検討された。 LLMは、ChatGPT (LeetCodeで71.43%の成功) のように、LeetCodeやHackerRankの認定に優れていたが、特にCodeforcesの仮想コンテストで苦労した。彼らはLeetCodeアーカイブのユーザよりもパフォーマンスが良く、時間とメモリ効率に優れていたが、難しいCodeforcesコンテストではパフォーマンスが劣っていた。脅威はすぐには発生しないが、これらのプラットフォームでのLLMのパフォーマンスは問題であり、将来の改善には対処する必要がある。

関連論文リスト

Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文参考訳（メタデータ） (2024-11-06T10:28:46Z)
Can OpenSource beat ChatGPT? -- A Comparative Study of Large Language Models for Text-to-Code Generation [0.24578723416255752]
テキスト・ツー・コード生成の能力について,5つの大言語モデル (LLM) を評価した。 ChatGPTはこれらの典型的なプログラミング課題を、Code Llamaのようなコード特化モデルよりもはるかに効果的に処理することができる。
論文参考訳（メタデータ） (2024-09-06T10:03:49Z)
CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
論文参考訳（メタデータ） (2024-08-23T11:43:00Z)
What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文参考訳（メタデータ） (2024-07-08T17:27:17Z)
TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
論文参考訳（メタデータ） (2024-06-06T22:07:50Z)
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code [34.03774442237902]
コード関連アプリケーションに適用される大規模言語モデルは、顕著な分野として現れている。既存の評価ベンチマーク(HumanEval、MBPPなど)は、もはやその能力を評価するには不十分である。コードに対するLLMの包括的で汚染のない評価手法であるLiveCodeBenchを提案する。
論文参考訳（メタデータ） (2024-03-12T17:58:04Z)
InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文参考訳（メタデータ） (2024-03-11T02:06:30Z)
CompCodeVet: A Compiler-guided Validation and Enhancement Approach for Code Dataset [12.58750209611099]
数十億のパラメータを持つモデルでさえ、多段階の推論を必要とするタスクの課題に直面します。 CompCodeVetはコンパイル不能なコードからコンパイル可能なコードを生成するためのコンパイラ誘導のCoTアプローチである。
論文参考訳（メタデータ） (2023-11-11T08:21:52Z)
CodeApex: A Bilingual Programming Evaluation Benchmark for Large Language Models [43.655927559990616]
我々は,LLMのプログラミング理解,コード生成,コード修正能力に着目したベンチマークデータセットであるCodeApexを提案する。汎用モデルと特化モデルの両方を含む,広く使用されているLLMを12種類評価した。 GPT-4は最高のプログラミング能力を示し、それぞれ69%、54%、66%の精度を達成している。
論文参考訳（メタデータ） (2023-09-05T04:12:01Z)
LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
論文参考訳（メタデータ） (2023-02-16T18:23:22Z)
Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。