論文の概要: Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code

• arxiv url: http://arxiv.org/abs/2311.07989v6
• Date: Tue, 4 Jun 2024 12:39:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 13:57:08.492295
• Title: Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code
• Title（参考訳）: NLPとソフトウェア工学の視点を統一する: コードの言語モデルに関する調査
• Authors: Ziyin Zhang, Chaoyu Chen, Bingchang Liu, Cong Liao, Zi Gong, Hang Yu, Jianguo Li, Rui Wang,
• Abstract要約: 本稿では,最近のソフトウェア工学の進歩を言語モデルを用いて体系的にレビューする。 私たちは、コード処理モデルを、GPTファミリで表される一般的な言語モデルと、特にコードで事前訓練された特殊なモデルに分解します。
• 参考スコア（独自算出の注目度）: 24.936022005837415
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work we systematically review the recent advancements in software engineering with language models, covering 70+ models, 40+ evaluation tasks, 180+ datasets, and 900 related works. We break down code processing models into general language models represented by the GPT family and specialized models that are specifically pretrained on code, often with tailored objectives. We discuss the relations and differences between these models, and highlight the historical transition of code modeling from statistical models and RNNs to pretrained Transformers and LLMs, which is exactly the same course that had been taken by NLP. We also go beyond programming and review LLMs' application in other software engineering activities including requirement engineering, testing, deployment, and operations in an endeavor to provide a global view of NLP in SE. We identify key challenges and potential future directions in this domain, and keep the survey open and updated on GitHub at https://github.com/codefuse-ai/Awesome-Code-LLM.
• Abstract（参考訳）: 本研究では,70以上のモデル,40以上の評価タスク,180以上のデータセット,900以上の関連作業を含む,言語モデルによるソフトウェア工学の最近の進歩を体系的にレビューする。 私たちは、コード処理モデルを、GPTファミリで表される一般的な言語モデルと、コード上で特別に事前訓練された特殊なモデルに分解します。 我々は,これらのモデル間の関係や相違について論じ,統計モデルやRNNから事前学習されたトランスフォーマーやLLMへのコードモデリングの歴史的変遷を強調した。 私たちはまた、要件エンジニアリング、テスト、デプロイメント、SEにおけるNLPのグローバルなビューを提供するための取り組みにおけるオペレーションを含む、その他のソフトウェアエンジニアリング活動におけるLCMのアプリケーションについても、プログラミングやレビューを行なっています。 このドメインの主要な課題と今後の方向性を特定し、GitHubでhttps://github.com/codefuse-ai/Awesome-Code-LLM.comでサーベイを公開し、更新する。

関連論文リスト

• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• Generative AI for Software Metadata: Overview of the Information Retrieval in Software Engineering Track at FIRE 2023 [18.616716369775883]
  Information Retrieval in Software Engineering (IRSE)トラックは、コードコメントの自動評価ソリューションの開発を目的としている。 データセットは9048のコードコメントと、オープンソースCベースのプロジェクトから抽出されたコードスニペットペアで構成されている。 大きな言語モデルから生成されたラベルは、予測モデルのバイアスを増加させるが、過度に適合しない結果をもたらす。
  論文  参考訳（メタデータ） (2023-10-27T14:13:23Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Enhancing Automated Program Repair through Fine-tuning and Prompt Engineering [2.3826139428423576]
  シーケンス・ツー・シーケンスのモデルは、十分に大規模なデータセットでトレーニングされた時に、誤ったプログラムを正しいプログラムに変換するために使われてきた。 いくつかの最近の研究は、コードレビューがプログラムの修復をさらに改善できるという強い実証的な証拠を示した。 PLとNLの本質的な知識が,プログラムの自動修復の改善に有効かどうかを検討する。
  論文  参考訳（メタデータ） (2023-04-16T17:29:51Z)
• An Overview on Language Models: Recent Developments and Outlook [32.528770408502396]
  従来の言語モデル(CLM)は、因果的に言語シーケンスの確率を予測することを目的としている。 事前学習言語モデル(PLM)はより広範な概念をカバーし、因果逐次モデリングと下流アプリケーションのための微調整の両方に使用することができる。
  論文  参考訳（メタデータ） (2023-03-10T07:55:00Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• A Conversational Paradigm for Program Synthesis [110.94409515865867]
  本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。 私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。 本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
  論文  参考訳（メタデータ） (2022-03-25T06:55:15Z)
• Automated Source Code Generation and Auto-completion Using Deep Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
  本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。 それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
  論文  参考訳（メタデータ） (2020-09-16T15:17:04Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
  CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。 我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。 モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
  論文  参考訳（メタデータ） (2020-02-19T13:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。