論文の概要: A Conversational Paradigm for Program Synthesis

• arxiv url: http://arxiv.org/abs/2203.13474v2
• Date: Mon, 28 Mar 2022 17:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 10:28:57.058850
• Title: A Conversational Paradigm for Program Synthesis
• Title（参考訳）: プログラム合成のための会話パラダイム
• Authors: Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, Caiming Xiong
• Abstract要約: 本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。 私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。 本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
• 参考スコア（独自算出の注目度）: 110.94409515865867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Program synthesis strives to generate a computer program as a solution to a given problem specification. We propose a conversational program synthesis approach via large language models, which addresses the challenges of searching over a vast program space and user intent specification faced in prior approaches. Our new approach casts the process of writing a specification and program as a multi-turn conversation between a user and a system. It treats program synthesis as a sequence prediction problem, in which the specification is expressed in natural language and the desired program is conditionally sampled. We train a family of large language models, called CodeGen, on natural language and programming language data. With weak supervision in the data and the scaling up of data size and model size, conversational capacities emerge from the simple autoregressive language modeling. To study the model behavior on conversational program synthesis, we develop a multi-turn programming benchmark (MTPB), where solving each problem requires multi-step synthesis via multi-turn conversation between the user and the model. Our findings show the emergence of conversational capabilities and the effectiveness of the proposed conversational program synthesis paradigm. In addition, our model CodeGen (with up to 16B parameters trained on TPU-v4) outperforms OpenAI's Codex on the HumanEval benchmark. We plan to make the training library JaxFormer including checkpoints available as open source.
• Abstract（参考訳）: プログラム合成は、与えられた問題仕様に対する解決策としてコンピュータプログラムを生成する。 そこで本研究では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。 我々の新しいアプローチは、ユーザとシステム間のマルチターン会話として仕様とプログラムを書く過程をキャストする。 仕様を自然言語で表現し、所望のプログラムを条件付きサンプリングしたシーケンス予測問題としてプログラム合成を扱う。 自然言語とプログラミング言語のデータに基づいて、codegenと呼ばれる大規模な言語モデルをトレーニングします。 データに対する監督の弱さと、データサイズとモデルサイズのスケールアップにより、単純な自己回帰言語モデリングから会話能力が生まれる。 対話型プログラム合成におけるモデル動作を研究するために,ユーザとモデル間のマルチターン対話による多段階合成を必要とするマルチターンプログラミングベンチマーク(MTPB)を開発した。 本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。 さらに、私たちのモデルであるCodeGen(TPU-v4でトレーニングされた最大16Bのパラメータ)は、OpenAIのCodex on the HumanEvalベンチマークを上回っています。 トレーニングライブラリのJaxFormerには、オープンソースとして利用可能なチェックポイントを含める予定です。

関連論文リスト

• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• A Case Study in Engineering a Conversational Programming Assistant's Persona [72.47187215119664]
  会話能力は、既存のコード流大言語モデルを使用することで達成された。 プロンプトの進化に関する議論は、既存の基礎モデルを特定のアプリケーションに望ましい方法で振る舞う方法に関するケーススタディを提供する。
  論文  参考訳（メタデータ） (2023-01-13T14:48:47Z)
• Programming by Example and Text-to-Code Translation for Conversational Code Generation [1.8447697408534178]
  本稿では,実例によるプログラミングとテキスト・トゥ・コードシステムの統合手法を提案する。 MPaTHSは一般的なプログラムを合成するための自然言語インタフェースを提供する。 本稿では,タスク指向対話問題に適用可能なプログラム表現を提案する。
  論文  参考訳（メタデータ） (2022-11-21T15:20:45Z)
• PanGu-Coder: Program Synthesis with Function-Level Language Modeling [47.63943623661298]
  PanGu-Coderは、PanGu-Alphaアーキテクチャを採用した事前訓練されたデコーダのみの言語モデルである。 最初の段階ではCausal Language Modellingを使用して、生のプログラミング言語データで事前トレーニングを行います。 第2段階では、Causal Language ModellingとMasked Language Modellingを組み合わせて、自然言語プログラム定義とコード関数のゆるくキュレートされたペアをトレーニングしている。
  論文  参考訳（メタデータ） (2022-07-22T18:08:16Z)
• Multi-modal Program Inference: a Marriage of Pre-trainedLanguage Models and Component-based Synthesis [15.427687814482724]
  マルチモーダルプログラム合成(マルチモーダルプログラムせき、英: Multi-modal program synthesis)とは、プログラム(コード)を異なる形式で指定した仕様から合成するタスクである。 例は正確だが不完全な仕様を提供し、自然言語は曖昧だがより「完全」なタスク記述を提供する。 2つのプログラミング領域に対するマルチモーダル合成システムのインスタンス化に,我々の組み合わせアプローチを用いる。
  論文  参考訳（メタデータ） (2021-09-03T16:12:04Z)
• Latent Execution for Neural Program Synthesis Beyond Domain-Specific Languages [97.58968222942173]
  入力出力の例からCプログラムを合成する第一歩を踏み出す。 特に,部分生成プログラムの実行を近似するために潜在表現を学習するLa Synthを提案する。 これらのプログラムのトレーニングにより,Karel と C のプログラム合成における予測性能がさらに向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T02:21:32Z)
• Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
  プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。 モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。 これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-23T20:40:18Z)
• Optimal Neural Program Synthesis from Multimodal Specifications [45.35689345004124]
  マルチモーダルプログラム合成は、プログラム合成を挑戦的な設定に拡張する魅力的な方法である。 本稿では,ユーザが提供する制約を満たすプログラムを見つけることを目的とした,最適なニューラルシンセサイザー手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T20:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。