論文の概要: A Survey on Pretrained Language Models for Neural Code Intelligence

• arxiv url: http://arxiv.org/abs/2212.10079v1
• Date: Tue, 20 Dec 2022 08:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 14:38:16.087776
• Title: A Survey on Pretrained Language Models for Neural Code Intelligence
• Title（参考訳）: ニューラルコードインテリジェンスのための事前学習言語モデルの検討
• Authors: Yichen Xu and Yanqiao Zhu
• Abstract要約: Neural Code Intelligence(NCI)の分野は、ソースコードの分析タスクに取り組むための有望なソリューションとして登場した。 NCIは、プログラミングの効率を改善し、ソフトウェア業界におけるヒューマンエラーを最小限にすることを目的としている。 事前訓練された言語モデルはNCI研究において支配的な力となり、常に最先端の成果をもたらしている。
• 参考スコア（独自算出の注目度）: 4.020523898765404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the complexity of modern software continues to escalate, software engineering has become an increasingly daunting and error-prone endeavor. In recent years, the field of Neural Code Intelligence (NCI) has emerged as a promising solution, leveraging the power of deep learning techniques to tackle analytical tasks on source code with the goal of improving programming efficiency and minimizing human errors within the software industry. Pretrained language models have become a dominant force in NCI research, consistently delivering state-of-the-art results across a wide range of tasks, including code summarization, generation, and translation. In this paper, we present a comprehensive survey of the NCI domain, including a thorough review of pretraining techniques, tasks, datasets, and model architectures. We hope this paper will serve as a bridge between the natural language and programming language communities, offering insights for future research in this rapidly evolving field.
• Abstract（参考訳）: 現代のソフトウェアは複雑さが増し続けており、ソフトウェア工学はますます途方もない、エラーを起こしやすい努力になりつつある。 近年、nci(neural code intelligence)の分野が有望なソリューションとして登場し、プログラミング効率の向上とソフトウェア業界におけるヒューマンエラーの最小化を目標として、ソースコードの分析タスクに取り組むためにディープラーニング技術の力を活用している。 事前訓練された言語モデルは、コード要約、生成、翻訳など、幅広いタスクにわたる最先端の成果を継続的に提供し、NCI研究において支配的な力となっている。 本稿では,NCIドメインに関する包括的調査を行い,事前学習技術,タスク,データセット,モデルアーキテクチャについて概観する。 この論文が自然言語とプログラミング言語コミュニティの橋渡しとなり、この急速に発展する分野における今後の研究への洞察を提供することを期待している。

関連論文リスト

• The Future of Scientific Publishing: Automated Article Generation [0.0]
  本研究では,Python コードからの学術論文の自動生成を目的とした,大規模言語モデル(LLM)プロンプトを活用した新しいソフトウェアツールを提案する。 Pythonは基本的な概念実証として機能するが、基盤となる方法論とフレームワークは、さまざまなGitHubリポジトリにまたがる適応性を示している。 この開発は高度な言語モデルエージェントに頼らずに達成され、一貫性と総合的な学術的コンテンツの自動生成において高い忠実性を確保した。
  論文  参考訳（メタデータ） (2024-04-11T16:47:02Z)
• A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond [84.95530356322621]
  この調査は、コードインテリジェンスの発展に関する体系的なレビューを示す。 50以上の代表モデルとその変種、20以上のタスクのカテゴリ、および680以上の関連する広範な研究をカバーしている。 発達軌道の考察に基づいて、コードインテリジェンスとより広範なマシンインテリジェンスとの間の新たな相乗効果について検討する。
  論文  参考訳（メタデータ） (2024-03-21T08:54:56Z)
• Enhancing Source Code Representations for Deep Learning with Static Analysis [10.222207222039048]
  本稿では,静的解析とバグレポートやデザインパターンなどのコンテキストを,ディープラーニングモデルのためのソースコード表現に統合する方法について検討する。 我々はASTNN(Abstract Syntax Tree-based Neural Network)法を用いて,バグレポートやデザインパターンから得られたコンテキスト情報を追加して拡張する。 提案手法はソースコードの表現と処理を改善し,タスク性能を向上させる。
  論文  参考訳（メタデータ） (2024-02-14T20:17:04Z)
• On-the-Fly Syntax Highlighting: Generalisation and Speed-ups [2.208443815105053]
  オンザフライ構文強調は、視覚二次表記値を言語派生のそれぞれの文字と素早く関連付けるタスクである。 スピード制約はツールのユーザビリティを保証するために不可欠であり、オンラインソースコードにアクセスするエンドユーザの応答性を示す。 コードの理解力を高めるためには、正確なハイライトを達成することが重要です。 このようなリゾルバの開発コストに対処することは、多くのプログラミング言語のバージョンを考えると必須である。
  論文  参考訳（メタデータ） (2024-02-13T19:43:22Z)
• Deep Learning for Code Intelligence: Survey, Benchmark and Toolkit [63.82016263181941]
  コードインテリジェンスは、機械学習技術を活用して、広範なコードコーパスから知識を抽出する。 現在、コードインテリジェンスに重点を置く研究コミュニティは活発です。
  論文  参考訳（メタデータ） (2023-12-30T17:48:37Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Natural Language Generation and Understanding of Big Code for AI-Assisted Programming: A Review [9.355153561673855]
  本稿では,Big Codeを用いてトレーニングしたトランスフォーマーベース大規模言語モデル(LLM)に焦点を当てる。 LLMは、コード生成、コード補完、コード翻訳、コード洗練、コードの要約、欠陥検出、クローン検出など、AI支援プログラミングアプリケーションを促進する上で重要な役割を担っている。 これらのアプリケーションにNLP技術とソフトウェア自然性を導入する上での課題と機会を探究する。
  論文  参考訳（メタデータ） (2023-07-04T21:26:51Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• Deep Learning for Source Code Modeling and Generation: Models, Applications and Challenges [5.4052819252055055]
  自然言語処理のためのディープラーニング(DL)技術は急速に進化してきた。 近年,言語モデリング,機械翻訳,段落理解の進歩が目覚ましいため,ソフトウェア工学におけるDLの可能性を見落とせない。
  論文  参考訳（メタデータ） (2020-02-13T11:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。