論文の概要: PanGu-Coder: Program Synthesis with Function-Level Language Modeling
- arxiv url: http://arxiv.org/abs/2207.11280v1
- Date: Fri, 22 Jul 2022 18:08:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:11:04.956030
- Title: PanGu-Coder: Program Synthesis with Function-Level Language Modeling
- Title（参考訳）: PanGu-Coder:関数レベル言語モデリングによるプログラム合成
- Authors: Fenia Christopoulou, Gerasimos Lampouras, Milan Gritta, Guchun Zhang,
Yinpeng Guo, Zhongqi Li, Qi Zhang, Meng Xiao, Bo Shen, Lin Li, Hao Yu, Li
Yan, Pingyi Zhou, Xin Wang, Yuchi Ma, Ignacio Iacobacci, Yasheng Wang,
Guangtai Liang, Jiansheng Wei, Xin Jiang, Qianxiang Wang, Qun Liu
- Abstract要約: PanGu-Coderは、PanGu-Alphaアーキテクチャを採用した事前訓練されたデコーダのみの言語モデルである。
最初の段階ではCausal Language Modellingを使用して、生のプログラミング言語データで事前トレーニングを行います。
第2段階では、Causal Language ModellingとMasked Language Modellingを組み合わせて、自然言語プログラム定義とコード関数のゆるくキュレートされたペアをトレーニングしている。
- 参考スコア（独自算出の注目度）: 47.63943623661298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present PanGu-Coder, a pretrained decoder-only language model adopting the
PanGu-Alpha architecture for text-to-code generation, i.e. the synthesis of
programming language solutions given a natural language problem description. We
train PanGu-Coder using a two-stage strategy: the first stage employs Causal
Language Modelling (CLM) to pre-train on raw programming language data, while
the second stage uses a combination of Causal Language Modelling and Masked
Language Modelling (MLM) training objectives that focus on the downstream task
of text-to-code generation and train on loosely curated pairs of natural
language program definitions and code functions. Finally, we discuss
PanGu-Coder-FT, which is fine-tuned on a combination of competitive programming
problems and code with continuous integration tests. We evaluate PanGu-Coder
with a focus on whether it generates functionally correct programs and
demonstrate that it achieves equivalent or better performance than similarly
sized models, such as CodeX, while attending a smaller context window and
training on less data.
- Abstract（参考訳）: 本稿では,テキスト対コード生成にpangu-alphaアーキテクチャを応用した,プリトレーニングされたデコーダ専用言語モデルであるpangu-coderを提案する。
第1段階は生のプログラミング言語データを事前学習するためにcausal language modelling (clm) を使用し、第2段階はcausal language modelling と masked language modelling (mlm) のトレーニング目的を組み合わせることで、テキスト対コード生成の下流タスクに焦点を当て、自然言語プログラム定義とコード関数の緩やかにキュレートされたペアをトレーニングします。
最後にpangu-coder-ftについて論じる。これは競合プログラミング問題とコードを統合テストと組み合わせることで微調整されている。
我々は,PanGu-Coderを,機能的に正しいプログラムを生成するかどうかに焦点をあてて評価し,コンテキストウィンドウを小さくし,少ないデータでトレーニングしながら,CodeXのような同様のサイズのモデルよりも同等あるいは優れたパフォーマンスを実現することを示す。
関連論文リスト
- NoviCode: Generating Programs from Natural Language Utterances by Novices [59.71218039095155]
初心者非プログラマによるAPIと自然言語記述を入力とする新しいNLプログラミングタスクであるNoviCodeを提示する。
我々は、NoviCodeがコード合成領域における挑戦的なタスクであることを示し、非技術的命令から複雑なコードを生成することは、現在のText-to-Codeパラダイムを超えている。
論文 参考訳（メタデータ） (2024-07-15T11:26:03Z) - Synthetic Programming Elicitation for Text-to-Code in Very Low-Resource Programming and Formal Languages [21.18996339478024]
SPEAC(emphsynthetic programming elicitation and compilation)を紹介する。
SPEACは、より頻繁に、意味的正しさを犠牲にすることなく、構文的に正しいプログラムを生成する。
UCLID5形式検証言語のケーススタディにおいて,SPEACの性能を実証的に評価した。
論文 参考訳（メタデータ） (2024-06-05T22:16:19Z) - CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。
CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。
ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
論文 参考訳（メタデータ） (2024-05-03T02:48:55Z) - IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。
まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。
次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。
IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
論文 参考訳（メタデータ） (2024-03-06T17:52:08Z) - A Conversational Paradigm for Program Synthesis [110.94409515865867]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。
私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。
本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (2022-03-25T06:55:15Z) - Synchromesh: Reliable code generation from pre-trained language models [38.15391794443022]
コード生成のための事前学習モデルの信頼性を大幅に向上するフレームワークであるSynchromeshを提案する。
まず、TST(Target similarity Tuning)を使用して、トレーニングバンクから、セマンティックなサンプル選択の新しい方法を使用して、数ショットのサンプルを検索する。
次に、Synchromeshはサンプルをトレーニング済みの言語モデルに供給し、対象言語の有効なプログラムセットに出力を制約する一般的なフレームワークであるConstrained Semantic Decoding (CSD)を使用してプログラムをサンプリングする。
論文 参考訳（メタデータ） (2022-01-26T22:57:44Z) - Unified Pre-training for Program Understanding and Generation [46.89905110678675]
PLBARTは、プログラムおよび言語理解および生成タスクの幅広い範囲を実行できるシーケンス・ツー・シーケンスモデルである。
PLBARTは、JavaとPythonの関数と関連するNLテキストの広範なコレクションに、自動エンコーディングを通知することで事前トレーニングされている。
論文 参考訳（メタデータ） (2021-03-10T20:32:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。