論文の概要: Code Execution with Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2305.05383v1
• Date: Mon, 8 May 2023 10:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:59:30.553139
• Title: Code Execution with Pre-trained Language Models
• Title（参考訳）: 事前学習言語モデルによるコード実行
• Authors: Chenxiao Liu, Shuai Lu, Weizhu Chen, Daxin Jiang, Alexey Svyatkovskiy, Shengyu Fu, Neel Sundaresan and Nan Duan
• Abstract要約: コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。 我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。 次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
• 参考スコア（独自算出の注目度）: 88.04688617516827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code execution is a fundamental aspect of programming language semantics that reflects the exact behavior of the code. However, most pre-trained models for code intelligence ignore the execution trace and only rely on source code and syntactic structures. In this paper, we investigate how well pre-trained models can understand and perform code execution. We develop a mutation-based data augmentation technique to create a large-scale and realistic Python dataset and task for code execution, which challenges existing models such as Codex. We then present CodeExecutor, a Transformer model that leverages code execution pre-training and curriculum learning to enhance its semantic comprehension. We evaluate CodeExecutor on code execution and show its promising performance and limitations. We also demonstrate its potential benefits for code intelligence tasks such as zero-shot code-to-code search and text-to-code generation. Our analysis provides insights into the learning and generalization abilities of pre-trained models for code execution.
• Abstract（参考訳）: コード実行は、コードの正確な振る舞いを反映したプログラミング言語セマンティクスの基本的な側面である。 しかし、コードインテリジェンスの事前訓練されたモデルのほとんどは実行トレースを無視し、ソースコードと構文構造のみに依存している。 本稿では,事前学習モデルがコード実行をどのように理解し実行できるかを検討する。 変異に基づくデータ拡張手法を開発し,大規模で現実的なPythonデータセットとコード実行タスクを作成し,Codexなどの既存モデルに挑戦する。 次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。 コード実行に関するCodeExecutorを評価し、その有望なパフォーマンスと制限を示す。 また,コードからコードへのゼロショット検索やテキストからコードへの生成といった,コードインテリジェンスタスクに対する潜在的なメリットを実証する。 コード実行のための事前学習されたモデルの学習と一般化能力に関する洞察を提供する。

関連論文リスト

• Zero-Shot Code Representation Learning via Prompt Tuning [6.40875582886359]
  コード表現を学習するためのゼロショットアプローチであるZecolerを提案する。 Zecolerは、事前訓練されたプログラミング言語モデルの上に構築されている。 我々はZecolerを,コードクローン検出,コード検索,メソッド名予測,コード要約,コード生成を含む5つのコードインテリジェンスタスクで評価する。
  論文  参考訳（メタデータ） (2024-04-13T09:47:07Z)
• Generation-Augmented Query Expansion For Code Retrieval [51.20943646688115]
  本稿では,次世代のクエリ拡張フレームワークを提案する。 人間の検索プロセスにインスパイアされた – 検索前に回答をスケッチする。 CodeSearchNetベンチマークで、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2022-12-20T23:49:37Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)
• What Do They Capture? -- A Structural Analysis of Pre-Trained Language Models for Source Code [32.345301158791045]
  ソースコードの事前訓練された言語モデルは、コードのコンテキストをモデル化するために提案されている。 これらのモデルは、マスク付き事前トレーニングとトランスフォーマーを利用する。 これらのモデルがなぜ機能するのか、どのような特徴相関を捉えることができるのかは不明だ。
  論文  参考訳（メタデータ） (2022-02-14T16:22:10Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)
• CLSEBERT: Contrastive Learning for Syntax Enhanced Code Pre-Trained Model [23.947178895479464]
  CLSEBERTは,構文強化符号事前学習モデルのための構築学習フレームワークである。 事前学習段階では、抽象構文木(AST)に含まれるコード構文と階層について検討する。 ひとつは抽象構文木内のノード間のエッジを予測することであり、もう一つはコードトークンの型を予測することである。
  論文  参考訳（メタデータ） (2021-08-10T10:08:21Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。