論文の概要: Competition-Level Code Generation with AlphaCode

• arxiv url: http://arxiv.org/abs/2203.07814v1
• Date: Tue, 8 Feb 2022 23:16:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-26 08:56:26.050379
• Title: Competition-Level Code Generation with AlphaCode
• Title（参考訳）: AlphaCodeによる競合レベルコード生成
• Authors: Yujia Li, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, R\'emi Leblond, Tom Eccles, James Keeling, Felix Gimeno, Agustin Dal Lago, Thomas Hubert, Peter Choy, Cyprien de Masson d'Autume, Igor Babuschkin, Xinyun Chen, Po-Sen Huang, Johannes Welbl, Sven Gowal, Alexey Cherepanov, James Molloy, Daniel J. Mankowitz, Esme Sutherland Robson, Pushmeet Kohli, Nando de Freitas, Koray Kavukcuoglu, Oriol Vinyals
• Abstract要約: より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
• 参考スコア（独自算出の注目度）: 74.87216298566942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programming is a powerful and ubiquitous problem-solving tool. Developing systems that can assist programmers or even generate programs independently could make programming more productive and accessible, yet so far incorporating innovations in AI has proven challenging. Recent large-scale language models have demonstrated an impressive ability to generate code, and are now able to complete simple programming tasks. However, these models still perform poorly when evaluated on more complex, unseen problems that require problem-solving skills beyond simply translating instructions into code. For example, competitive programming problems which require an understanding of algorithms and complex natural language remain extremely challenging. To address this gap, we introduce AlphaCode, a system for code generation that can create novel solutions to these problems that require deeper reasoning. In simulated evaluations on recent programming competitions on the Codeforces platform, AlphaCode achieved on average a ranking of top 54.3% in competitions with more than 5,000 participants. We found that three key components were critical to achieve good and reliable performance: (1) an extensive and clean competitive programming dataset for training and evaluation, (2) large and efficient-to-sample transformer-based architectures, and (3) large-scale model sampling to explore the search space, followed by filtering based on program behavior to a small set of submissions.
• Abstract（参考訳）: プログラミングは強力でユビキタスな問題解決ツールです。 プログラマを支援したり、プログラムを独立して生成するシステムを開発することで、プログラムはより生産的でアクセスしやすくなります。 最近の大規模言語モデルは、コードを生成する素晴らしい能力を示しており、単純なプログラミングタスクを完了することができる。 しかし、これらのモデルは、単に命令をコードに翻訳する以上の問題解決スキルを必要とする、より複雑で目に見えない問題で評価した場合、まだ性能が悪い。 例えば、アルゴリズムと複雑な自然言語の理解を必要とする競合するプログラミング問題は非常に難しいままである。 このギャップに対処するために、より深い推論を必要とするこれらの問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介します。 Codeforcesプラットフォーム上の最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは5000人以上の参加者とのコンペティションで平均54.3%のランクを獲得した。 その結果,(1)トレーニングと評価のための広範囲かつクリーンな競合プログラミングデータセット,(2)大規模かつ効率的なトランスフォーマーベースアーキテクチャ,(3)探索空間を探索するための大規模モデルサンプリング,次いでプログラムの振る舞いに基づいたフィルタリング,という3つの重要なコンポーネントが,優れたパフォーマンスを実現する上で重要であることがわかった。

関連論文リスト

• Code Generation and Algorithmic Problem Solving Using Llama 3.1 405B [0.0]
  Llama駆動のコード生成は、自然言語プロンプトを複数のプログラミング言語で実行可能なコードに変換することができる。 Llamaは、あらゆるスキルレベルの開発者にとって汎用的なツールとして機能し、ソフトウェア開発の生産性と効率を改善します。 教育、産業、そしてコーディングプラクティスの将来への潜在的影響についても論じる。
  論文  参考訳（メタデータ） (2024-09-26T13:29:20Z)
• No Man is an Island: Towards Fully Automatic Programming by Code Search, Code Generation and Program Repair [9.562123938545522]
  ツールネームは、様々なコード検索、生成、修復ツールを統合することができ、これら3つの研究領域を初めて組み合わせることができる。 例えば、CodeLlamaは62.53%の改善で267のプログラミング問題を解決するのに役立ちます。
  論文  参考訳（メタデータ） (2024-09-05T06:24:29Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• A Comparative Study of Code Generation using ChatGPT 3.5 across 10 Programming Languages [0.0]
  LLM(Large Language Models)は、高度な人工知能(AI)システムである。 本研究では,2022年11月にOpenAIがリリースしたLLMであるChatGPT 3.5の符号化能力について検討する。 コードスニペットを作成する際のモデルのスキルは、10の異なるプログラミング言語と4つの異なるソフトウェアドメインで評価される。
  論文  参考訳（メタデータ） (2023-08-08T15:02:32Z)
• Evaluating GPT's Programming Capability through CodeWars' Katas [0.5512295869673147]
  本稿では,GPT(Generative Pretrained Transformer)モデルのプログラミング能力の新たな評価法を提案する。 実験では、これらのGPTモデルがソリューション提供に苦しむ3休レベルでの明確な境界を明らかにした。 この研究は、人間の問題解決技術をうまくエミュレートするために、AIモデルにおけるバリデーションと創造的な思考能力の必要性を強調している。
  論文  参考訳（メタデータ） (2023-05-31T10:36:16Z)
• Think Outside the Code: Brainstorming Boosts Large Language Models in Code Generation [9.904734169174356]
  本稿では,コード生成のためのBrainstormフレームワークを紹介する。 ブレインストーミングのステップを利用して、問題に関するさまざまな思考を生成し、選択する。 Brainstormは、LLMが競合レベルのプログラミング問題を解決する能力を大幅に強化する。
  論文  参考訳（メタデータ） (2023-05-18T03:32:54Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。