論文の概要: Self-planning Code Generation with Large Language Models
- arxiv url: http://arxiv.org/abs/2303.06689v2
- Date: Thu, 3 Aug 2023 13:18:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 12:53:42.547646
- Title: Self-planning Code Generation with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた自己計画コード生成
- Authors: Xue Jiang, Yihong Dong, Lecheng Wang, Zheng Fang, Qiwei Shang, Ge Li,
Zhi Jin, Wenpin Jiao
- Abstract要約: 複雑な意図を理解し、問題解決の難しさを軽減するために、コード生成にプランニングを導入します。
自己計画コード生成の有効性は、複数のコード生成データセットで厳格に評価されている。
- 参考スコア(独自算出の注目度): 33.37052158401242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although large language models have demonstrated impressive ability in code
generation, they are still struggling to address the complicated intent
provided by humans. It is widely acknowledged that humans typically employ
planning to decompose complex problems and schedule the solution steps prior to
implementation. Thus we introduce planning into code generation to help the
model understand complex intent and reduce the difficulty of problem solving.
This paper proposes a self-planning code generation method with large language
model, which consists of two phases, namely planning phase and implementation
phase. Specifically, in the planning phase, the language model plans out the
solution steps from the intent combined with in-context learning. Then it
enters the implementation phase, where the model generates code step by step,
guided by the solution steps. The effectiveness of self-planning code
generation has been rigorously evaluated on multiple code generation datasets
and the results have demonstrated a marked superiority over naive direct
generation approaches with language model. The improvement in performance is
substantial, highlighting the significance of self-planning in code generation
tasks.
- Abstract(参考訳): 大規模な言語モデルはコード生成において印象的な能力を発揮していますが、それでも人間の提供する複雑な意図に対処するのに苦労しています。
人間は通常、複雑な問題を分解し、実装前に解決手順をスケジュールする計画を採用することが広く認識されている。
このように,モデルが複雑な意図を理解し,問題解決の困難さを軽減するために,コード生成計画を導入する。
本稿では,計画段階と実装段階の2段階からなる大規模言語モデルを用いた自己計画型コード生成手法を提案する。
具体的には、計画段階では、言語モデルは、インコンテキスト学習と組み合わせた意図からのソリューションステップを計画する。
その後、実装フェーズに入り、モデルが解ステップによって導かれるコードステップをステップバイステップで生成する。
自己計画型コード生成の有効性は,複数のコード生成データセットで厳密に評価され,言語モデルを用いたナイーブな直接生成アプローチよりも優れた結果が得られた。
パフォーマンスの改善は実質的なものであり、コード生成タスクにおける自己計画の重要性を強調している。
関連論文リスト
- CodeGRAG: Extracting Composed Syntax Graphs for Retrieval Augmented Cross-Lingual Code Generation [60.799992690487336]
単一ラウンドのコード生成タスクにおいて,LLMの性能を向上させるための構文グラフ検索コード生成(CodeGRAG)を提案する。
CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
論文 参考訳(メタデータ) (2024-05-03T02:48:55Z) - Learning to Plan for Language Modeling from Unlabeled Data [23.042650737356496]
我々は,自己指導型学習目標を用いて,将来の執筆プロセスを計画するためのモジュールを訓練する。
生成した潜在計画の条件付けにより、我々のモデルは、成功した言語モデル公式を、教師なしの方法でより抽象的な計画へと拡張する。
論文 参考訳(メタデータ) (2024-03-31T09:04:01Z) - Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs [36.409470894115074]
我々は、LLMのコード生成推論機能をより小さなモデルに転送することを目的としたCodePLANフレームワークを提案する。
提案手法は,APPSベンチマークにおいて,より小さなモデルのコード生成性能を130%以上向上させる。
論文 参考訳(メタデータ) (2024-03-20T03:09:54Z) - Do Machines and Humans Focus on Similar Code? Exploring Explainability
of Large Language Models in Code Summarization [10.201463330812167]
人間の理解のレンズによるコード要約における言語モデルの説明可能性に関する調査の結果を報告する。
我々は、現在最先端のモデル非依存、ブラックボックス、摂動に基づくアプローチであるSHAPを用いて、どのコードトークンが要約の生成に影響を与えるかを特定する。
本研究は、SHAPに基づくモデル焦点測定と人間の焦点を合わせることができないことを明らかにする。
論文 参考訳(メタデータ) (2024-02-22T00:01:02Z) - Code Representation Learning At Scale [75.04686476303436]
2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。
まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。
そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
論文 参考訳(メタデータ) (2024-02-02T22:19:15Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - PlaSma: Making Small Language Models Better Procedural Knowledge Models
for (Counterfactual) Planning [72.0564921186518]
PlaSmaは、手続き的な知識と(非現実的な)計画能力を持つ小さな言語モデルを実現するための、新しい2段階のアプローチである。
より具体的には、小言語モデルにおける暗黙的知識を高めるために、記号的手続き的知識蒸留を開発する。
さらに, 対実的状況に対応するための計画の見直しを必要とする, 対実的計画という新たな課題を導入する。
論文 参考訳(メタデータ) (2023-05-31T00:55:40Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) (2021-05-20T17:58:42Z) - Data-to-text Generation with Macro Planning [61.265321323312286]
本稿では,マクロ計画段階のニューラルモデルと,従来の手法を連想させる生成段階を提案する。
提案手法は, 自動評価と人的評価の両面で, 競争ベースラインを上回っている。
論文 参考訳(メタデータ) (2021-02-04T16:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。