論文の概要: Unifying the Perspectives of NLP and Software Engineering: A Survey on
Language Models for Code
- arxiv url: http://arxiv.org/abs/2311.07989v4
- Date: Mon, 22 Jan 2024 12:27:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 20:02:19.786881
- Title: Unifying the Perspectives of NLP and Software Engineering: A Survey on
Language Models for Code
- Title(参考訳): NLPとソフトウェア工学の視点を統一する: コードの言語モデルに関する調査
- Authors: Ziyin Zhang and Chaoyu Chen and Bingchang Liu and Cong Liao and Zi
Gong and Hang Yu and Jianguo Li and Rui Wang
- Abstract要約: 本稿では,言語モデルを用いたコード処理の最近の進歩を体系的にレビューする。
私たちは、コード処理モデルを、GPTファミリで表される一般的な言語モデルと、特にコードで事前訓練された特殊なモデルに分解します。
AST、CFG、ユニットテストなどのコード固有の機能や、トレーニングコード言語モデルのアプリケーションについて議論し、この領域における重要な課題と将来的な方向性を特定します。
- 参考スコア(独自算出の注目度): 26.010021614297294
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work we systematically review the recent advancements in code
processing with language models, covering 50+ models, 30+ evaluation tasks,
170+ datasets, and 700+ related works. We break down code processing models
into general language models represented by the GPT family and specialized
models that are specifically pretrained on code, often with tailored
objectives. We discuss the relations and differences between these models, and
highlight the historical transition of code modeling from statistical models
and RNNs to pretrained Transformers and LLMs, which is exactly the same course
that had been taken by NLP. We also discuss code-specific features such as AST,
CFG, and unit tests, along with their application in training code language
models, and identify key challenges and potential future directions in this
domain. We keep the survey open and updated on GitHub at
https://github.com/codefuse-ai/Awesome-Code-LLM.
- Abstract(参考訳): 本稿では,50以上のモデル,30以上の評価タスク,170以上のデータセット,700以上の関連作業を含む,言語モデルによるコード処理の最近の進歩を体系的にレビューする。
私たちは、コード処理モデルをgptファミリに代表される一般的な言語モデルと、特にコードで事前学習される特殊なモデルに分解します。
これらのモデルとの関係と相違について考察し,nlpが実施したのと全く同じ方法で,統計モデルやrnnから事前学習されたトランスフォーマーやllmへのコードモデリングの歴史的変遷を強調する。
また、ast、cfg、ユニットテストといったコード固有の機能や、コード言語モデルをトレーニングするアプリケーションについても議論し、このドメインにおける重要な課題と将来的な方向性を特定します。
私たちは調査をオープンにし、githubのhttps://github.com/codefuse-ai/awesome-code-llmで更新しています。
関連論文リスト
- Do Machines and Humans Focus on Similar Code? Exploring Explainability
of Large Language Models in Code Summarization [10.201463330812167]
人間の理解のレンズによるコード要約における言語モデルの説明可能性に関する調査の結果を報告する。
我々は、現在最先端のモデル非依存、ブラックボックス、摂動に基づくアプローチであるSHAPを用いて、どのコードトークンが要約の生成に影響を与えるかを特定する。
本研究は、SHAPに基づくモデル焦点測定と人間の焦点を合わせることができないことを明らかにする。
論文 参考訳(メタデータ) (2024-02-22T00:01:02Z) - Generative AI for Software Metadata: Overview of the Information
Retrieval in Software Engineering Track at FIRE 2023 [18.616716369775883]
Information Retrieval in Software Engineering (IRSE)トラックは、コードコメントの自動評価ソリューションの開発を目的としている。
データセットは9048のコードコメントと、オープンソースCベースのプロジェクトから抽出されたコードスニペットペアで構成されている。
大きな言語モデルから生成されたラベルは、予測モデルのバイアスを増加させるが、過度に適合しない結果をもたらす。
論文 参考訳(メタデータ) (2023-10-27T14:13:23Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳(メタデータ) (2023-05-31T05:24:48Z) - Enhancing Automated Program Repair through Fine-tuning and Prompt
Engineering [2.3826139428423576]
シーケンス・ツー・シーケンスのモデルは、十分に大規模なデータセットでトレーニングされた時に、誤ったプログラムを正しいプログラムに変換するために使われてきた。
いくつかの最近の研究は、コードレビューがプログラムの修復をさらに改善できるという強い実証的な証拠を示した。
PLとNLの本質的な知識が,プログラムの自動修復の改善に有効かどうかを検討する。
論文 参考訳(メタデータ) (2023-04-16T17:29:51Z) - Better Language Models of Code through Self-Improvement [18.75015225501755]
コードのための事前学習言語モデル(PLMC)のための単純なデータ拡張フレームワークを提案する。
本フレームワークは,事前学習と微調整の段階で得られた知識を利用して擬似データを生成し,次のステップのトレーニングデータとして利用する。
その結果,コード関連シーケンス生成タスクにおいて,PLMCの性能が大幅に向上することが示唆された。
論文 参考訳(メタデータ) (2023-04-02T10:59:19Z) - Large Language Models Meet NL2Code: A Survey [19.606985859571083]
NL2Code用の27の既存大規模言語モデルに関する包括的調査を行う。
NL2Codeの大規模言語モデルの成功に寄与する主な要因は、"大規模サイズ、プレミアムデータ、エキスパートチューニング"である。
論文 参考訳(メタデータ) (2022-12-19T12:55:32Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳(メタデータ) (2022-10-26T17:17:06Z) - A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。
現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。
Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。
GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
論文 参考訳(メタデータ) (2022-02-26T15:53:55Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。