論文の概要: Program Synthesis with Large Language Models

• arxiv url: http://arxiv.org/abs/2108.07732v1
• Date: Mon, 16 Aug 2021 03:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:06:55.466526
• Title: Program Synthesis with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたプログラム合成
• Authors: Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, Charles Sutton
• Abstract要約: 我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。 合成性能はモデルサイズと対数的にスケールすることがわかった。 最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
• 参考スコア（独自算出の注目度）: 40.41120807053989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the limits of the current generation of large language models for program synthesis in general purpose programming languages. We evaluate a collection of such models (with between 244M and 137B parameters) on two new benchmarks, MBPP and MathQA-Python, in both the few-shot and fine-tuning regimes. Our benchmarks are designed to measure the ability of these models to synthesize short Python programs from natural language descriptions. The Mostly Basic Programming Problems (MBPP) dataset contains 974 programming tasks, designed to be solvable by entry-level programmers. The MathQA-Python dataset, a Python version of the MathQA benchmark, contains 23914 problems that evaluate the ability of the models to synthesize code from more complex text. On both datasets, we find that synthesis performance scales log-linearly with model size. Our largest models, even without finetuning on a code dataset, can synthesize solutions to 59.6 percent of the problems from MBPP using few-shot learning with a well-designed prompt. Fine-tuning on a held-out portion of the dataset improves performance by about 10 percentage points across most model sizes. On the MathQA-Python dataset, the largest fine-tuned model achieves 83.8 percent accuracy. Going further, we study the model's ability to engage in dialog about code, incorporating human feedback to improve its solutions. We find that natural language feedback from a human halves the error rate compared to the model's initial prediction. Additionally, we conduct an error analysis to shed light on where these models fall short and what types of programs are most difficult to generate. Finally, we explore the semantic grounding of these models by fine-tuning them to predict the results of program execution. We find that even our best models are generally unable to predict the output of a program given a specific input.
• Abstract（参考訳）: 本稿では,汎用プログラミング言語におけるプログラム合成のための大規模言語モデルの生成限界について検討する。 我々は,MBPPとMathQA-Pythonの2つの新しいベンチマークにおいて,これらのモデル(244Mと137Bパラメータ)のコレクションを評価した。 我々のベンチマークは、これらのモデルが自然言語記述から短いPythonプログラムを合成する能力を測定するために設計されている。 Mostly Basic Programming Problems (MBPP)データセットには974のプログラミングタスクが含まれている。 mathqa-pythonデータセットは、mathqaベンチマークのpythonバージョンであり、より複雑なテキストからコードを合成するモデルの能力を評価する23914の問題を含んでいる。 両方のデータセットにおいて、合成性能はモデルサイズと対数的にスケールする。 私たちの最大のモデルは、コードデータセットを微調整しなくても、よく設計されたプロンプトを使って、MBPPによる問題の59.6%のソリューションを合成することができます。 データセットの保持部分の微調整により、ほとんどのモデルサイズで約10パーセントのパフォーマンスが向上する。 MathQA-Pythonデータセットでは、最大の微調整モデルの精度は83.8%である。 さらに、私たちはモデルがコードに関する対話に参加する能力を研究し、ソリューションを改善するために人間のフィードバックを取り入れます。 ヒトからの自然言語フィードバックは、モデルの初期予測と比較してエラー率を半減することがわかった。 さらに、これらのモデルが不足している場所と、どのプログラムを生成するのが最も難しいかについて、エラー解析を行います。 最後に,プログラム実行結果の予測を微調整することで,これらのモデルのセマンティックグラウンド化を検討する。 最良のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。

関連論文リスト

• Learning Program Behavioral Models from Synthesized Input-Output Pairs [70.9524884086882]
  我々は、_neural machine translation_を用いて入力/出力動作から_modelを学習するフレームワークであるModelizerを紹介した。 Modelizerは_grammars_を使って入力を合成し、結果の出力を解析し、トークンストリーム間のシーケンスとシーケンスの関連を学習する。 入力と出力の文法以外は、Modelizerはプログラムを実行する能力だけを必要とする。
  論文  参考訳（メタデータ） (2024-07-11T15:25:02Z)
• Low-Cost Language Models: Survey and Performance Evaluation on Python Code Generation [0.0]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクで一般的な選択肢となっている。 LLMの相当な計算とメモリ要件は、限られたリソースを持つユーザーにはアクセスできないことが多い。 本稿では,資源集約型LLMの代替となる,非常に低コストなモデルに焦点をあてる。
  論文  参考訳（メタデータ） (2024-04-17T08:16:48Z)
• HumanEval on Latest GPT Models -- 2024 [2.3279007422505322]
  このデータセットは、自然言語とプログラミング言語のデータに対してCODEGENと呼ばれる言語モデルで使用されるように初期開発された。 これらのトレーニングされたモデルの実用性は、HumanEvalタスク上のゼロショットPythonコード生成において、競争力のあるパフォーマンスを示すことで示される。
  論文  参考訳（メタデータ） (2024-02-20T04:17:21Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• Qwen Technical Report [132.54304067403922]
  当社の大規模言語モデルシリーズの最初のインストールであるQwenを紹介します。 Qwenはトレーニング済みの言語モデルの基本であり、Qwen-Chatは人間のアライメント技術で微調整されたチャットモデルである。 また、コーディング特化モデルであるCode-QwenとCode-Qwen-Chatも開発し、数学に焦点を当てたMath-Qwen-Chatも開発しました。
  論文  参考訳（メタデータ） (2023-09-28T17:07:49Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。