論文の概要: Planning with Large Language Models for Code Generation

• arxiv url: http://arxiv.org/abs/2303.05510v1
• Date: Thu, 9 Mar 2023 18:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 13:28:50.508267
• Title: Planning with Large Language Models for Code Generation
• Title（参考訳）: コード生成のための大規模言語モデルによる計画
• Authors: Shun Zhang, Zhenfang Chen, Yikang Shen, Mingyu Ding, Joshua B. Tenenbaum, Chuang Gan
• Abstract要約: Planning-Guided Transformer Decoding (PG-TD) は、計画アルゴリズムを用いてルックアヘッド検索を行い、トランスフォーマーを誘導してより良いプログラムを生成する。 我々は、公開コーディングチャレンジベンチマークのバックボーンとして、いくつかの大きな言語モデルを用いて、我々のフレームワークを実証的に評価する。
• 参考スコア（独自算出の注目度）: 100.07232672883897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing large language model-based code generation pipelines typically use beam search or sampling algorithms during the decoding process. Although the programs they generate achieve high token-matching-based scores, they often fail to compile or generate incorrect outputs. The main reason is that conventional Transformer decoding algorithms may not be the best choice for code generation. In this work, we propose a novel Transformer decoding algorithm, Planning-Guided Transformer Decoding (PG-TD), that uses a planning algorithm to do lookahead search and guide the Transformer to generate better programs. Specifically, instead of simply optimizing the likelihood of the generated sequences, the Transformer makes use of a planner to generate candidate programs and test them on public test cases. The Transformer can therefore make more informed decisions and generate tokens that will eventually lead to higher-quality programs. We also design a mechanism that shares information between the Transformer and the planner to make our algorithm computationally efficient. We empirically evaluate our framework with several large language models as backbones on public coding challenge benchmarks, showing that 1) it can generate programs that consistently achieve higher performance compared with competing baseline methods; 2) it enables controllable code generation, such as concise codes and highly-commented codes by optimizing modified objective.
• Abstract（参考訳）: 既存の大規模言語モデルベースのコード生成パイプラインでは、通常、デコードプロセス中にビーム検索やサンプリングアルゴリズムを使用する。 彼らが生成するプログラムは高いトークンマッチングベースのスコアを達成するが、しばしば不正な出力のコンパイルや生成に失敗する。 主な理由は、従来のトランスフォーマー復号アルゴリズムがコード生成に最適な選択肢ではない可能性があるためである。 そこで本研究では,計画アルゴリズムを用いてルックアヘッド探索を行い,トランスフォーマーを誘導してより良いプログラムを生成する,新しいトランスフォーマー復号法,計画誘導型トランスフォーマー復号法(pg-td)を提案する。 具体的には、生成されたシーケンスの可能性を単に最適化するのではなく、プランナーを使用して候補プログラムを生成し、公開テストケースでテストする。 したがってTransformerは、より情報的な決定を行い、最終的に高品質なプログラムにつながるトークンを生成することができる。 また、トランスフォーマーとプランナーの間で情報を共有する機構を設計し、アルゴリズムを計算効率良くする。 公開コーディングチャレンジベンチマークのバックボーンとして,いくつかの大規模言語モデルを用いて,我々のフレームワークを実証的に評価した。 1) 競合するベースラインメソッドと比較して、一貫して高いパフォーマンスを達成するプログラムを生成できる。 2) 修正対象を最適化することにより,簡潔なコードや高出力コードなどの制御可能なコード生成を可能にする。

関連論文リスト

• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Make Every Move Count: LLM-based High-Quality RTL Code Generation Using MCTS [20.135906487081453]
  本稿では,モンテカルロ木探索をベースとした自動トランスフォーマー復号アルゴリズムを提案する。 最先端のLLM(16ビット加算器)が生成する最大の設計のために,本技術は面積遅延生成物において31.8%の改善を達成できる。
  論文  参考訳（メタデータ） (2024-02-05T18:47:04Z)
• Converting Epics/Stories into Pseudocode using Transformers [0.0]
  Pseudocodeは、コンピュータプログラムに関わるステップのプログラミング言語表現である。 本稿では,英語で記述された問題を擬似コードに変換する手法を提案する。 上記の2つのサブタスクで個別にトレーニングすると,CodeT5モデルはBLEUスコアで最高の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-08T14:01:09Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• SLaDe: A Portable Small Language Model Decompiler for Optimized Assembly [6.080751346188323]
  本稿では,実世界のコード上で訓練されたシーケンス・ツー・シーケンス・トランスフォーマをベースとした小型言語モデルデコンパイラであるSLaDeを提案する。 型推論を利用して、標準的な分析や最近のニューラルアプローチよりも読みやすく正確なプログラムを生成する。
  論文  参考訳（メタデータ） (2023-05-21T17:31:39Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding [57.08875260900373]
  即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。 英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-09T10:30:59Z)
• Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback [6.230751621285322]
  我々は、明示的なコード生成のためのモダントランスフォーマーアーキテクチャを導入し、研究する。 我々は、擬似関連フィードバックを用いて外部知識を組み込んだRelevance Transformerと呼ばれる新しいモデルを提案する。 その結果,BLEU評価に基づく最先端手法の改善が示された。
  論文  参考訳（メタデータ） (2020-07-06T09:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。