論文の概要: Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering

• arxiv url: http://arxiv.org/abs/2401.08500v1
• Date: Tue, 16 Jan 2024 17:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 19:01:15.765830
• Title: Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
• Title（参考訳）: alphacodiumによるコード生成: プロンプトエンジニアリングからフローエンジニアリングへ
• Authors: Tal Ridnik, Dedy Kredo, Itamar Friedman
• Abstract要約: テストベース,多段階,コード指向反復流LLMによるコード生成の新しい手法を提案する。 私たちは、CodeContestsと呼ばれる挑戦的なコード生成データセットでAlphaCodiumをテストしました。 例えば、GPT-4の精度(pass@5)は19%に向上し、1つの適切に設計された直接的プロンプトはAlphaCodiumフローで44%に増加した。
• 参考スコア（独自算出の注目度）: 6.779943486567506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation problems differ from common natural language problems - they require matching the exact syntax of the target language, identifying happy paths and edge cases, paying attention to numerous small details in the problem spec, and addressing other code-specific issues and requirements. Hence, many of the optimizations and tricks that have been successful in natural language generation may not be effective for code tasks. In this work, we propose a new approach to code generation by LLMs, which we call AlphaCodium - a test-based, multi-stage, code-oriented iterative flow, that improves the performances of LLMs on code problems. We tested AlphaCodium on a challenging code generation dataset called CodeContests, which includes competitive programming problems from platforms such as Codeforces. The proposed flow consistently and significantly improves results. On the validation set, for example, GPT-4 accuracy (pass@5) increased from 19% with a single well-designed direct prompt to 44% with the AlphaCodium flow. Many of the principles and best practices acquired in this work, we believe, are broadly applicable to general code generation tasks. Full implementation is available at: https://github.com/Codium-ai/AlphaCodium
• Abstract（参考訳）: コード生成問題は、ターゲット言語の正確な構文のマッチング、幸せなパスとエッジケースの特定、問題仕様の小さな詳細への注意、他のコード固有の問題や要件への対処など、一般的な自然言語問題とは異なる。 したがって、自然言語生成で成功した最適化やトリックの多くは、コードタスクに有効ではないかもしれない。 本研究では,LLMによるコード生成に対する新しいアプローチを提案する。これはテストベースで多段階のコード指向反復フローであるAlphaCodiumと呼ばれ,コード問題におけるLLMの性能を改善する。 私たちは、Codeforcesのようなプラットフォームからの競合するプログラミング問題を含む、CodeContestsと呼ばれる挑戦的なコード生成データセットでAlphaCodiumをテストしました。 提案した流れは一貫して,結果を著しく改善する。 例えば、検証セットでは、GPT-4精度(pass@5)が19%まで上昇し、1つの適切に設計されたダイレクトプロンプトがAlphaCodiumフローで44%に増加した。 この作業で獲得した原則やベストプラクティスの多くは、一般的なコード生成タスクに広く適用できると思います。 完全な実装は、https://github.com/Codium-ai/AlphaCodiumで利用可能である。

関連論文リスト

• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• Top Pass: Improve Code Generation by Pass@k-Maximized Code Ranking [11.109866941442641]
  Top Passは、多数の候補からの潜在的な正しいソリューションを特定する、コードランキングのアプローチである。 これにより、ユーザは可能な限り少ない試行で正しいソリューションを見つけることができる。
  論文  参考訳（メタデータ） (2024-08-11T07:53:51Z)
• When to Stop? Towards Efficient Code Generation in LLMs with Excess Token Prevention [43.39584272739589]
  コード生成におけるコードLLMの推論高速化手法であるCodeFastを紹介する。 CodeFastの主なアイデアは、不要な余分なトークンが検出された場合に、推論プロセスを終了させることである。 我々は、広く使われている4つのコード生成データセットにまたがる5つの代表的なコードLLM上で、CodeFastで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-07-29T14:27:08Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• MapCoder: Multi-Agent Code Generation for Competitive Problem Solving [3.3856216159724983]
  マルチエージェントプロンプトを利用したコード生成タスクに新たなアプローチを導入する。 私たちのフレームワークであるMapCoderは、プログラム合成の段階をエミュレートするために設計された4つのLLMエージェントで構成されています。 我々の手法は、様々なプログラミング言語で一貫して優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-05-18T22:10:15Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Test-Case-Driven Programming Understanding in Large Language Models for Better Code Generation [15.166827643436346]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)
• Exploring Continual Learning for Code Generation Models [80.78036093054855]
  継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。 コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。 即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
  論文  参考訳（メタデータ） (2023-07-05T16:58:39Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。