論文の概要: ESALE: Enhancing Code-Summary Alignment Learning for Source Code Summarization
- arxiv url: http://arxiv.org/abs/2407.01646v1
- Date: Mon, 1 Jul 2024 03:06:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 19:52:16.189564
- Title: ESALE: Enhancing Code-Summary Alignment Learning for Source Code Summarization
- Title（参考訳）: ESALE: ソースコード要約のためのコード要約アライメント学習の強化
- Authors: Chunrong Fang, Weisong Sun, Yuchen Chen, Xiao Chen, Zhao Wei, Quanjun Zhang, Yudu You, Bin Luo, Yang Liu, Zhenyu Chen,
- Abstract要約: コード要約は、与えられたコードスニペットに対して簡潔な自然言語要約を自動的に生成することを目的としている。
本稿では,要約に焦点をあてたタスクに基づいて,コード要約を改善する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 21.886950861445122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: (Source) code summarization aims to automatically generate succinct natural language summaries for given code snippets. Such summaries play a significant role in promoting developers to understand and maintain code. Inspired by neural machine translation, deep learning-based code summarization techniques widely adopt an encoder-decoder framework, where the encoder transforms given code snippets into context vectors, and the decoder decodes context vectors into summaries. Recently, large-scale pre-trained models for source code are equipped with encoders capable of producing general context vectors and have achieved substantial improvements on code summarization. However, although they are usually trained mainly on code-focused tasks and can capture general code features, they still fall short in capturing specific features that need to be summarized. This paper proposes a novel approach to improve code summarization based on summary-focused tasks. Specifically, we exploit a multi-task learning paradigm to train the encoder on three summary-focused tasks to enhance its ability to learn code-summary alignment, including unidirectional language modeling (ULM), masked language modeling (MLM), and action word prediction (AWP). Unlike pre-trained models that mainly predict masked tokens in code snippets, we design ULM and MLM to predict masked words in summaries. Intuitively, predicting words based on given code snippets would help learn the code-summary alignment. Additionally, we introduce the domain-specific task AWP to enhance the ability of the encoder to learn the alignment between action words and code snippets. The extensive experiments on four datasets demonstrate that our approach, called ESALE significantly outperforms baselines in all three widely used metrics, including BLEU, METEOR, and ROUGE-L.
- Abstract（参考訳）: (ソース)コード要約は、与えられたコードスニペットに対して簡潔な自然言語要約を自動的に生成することを目的としている。
このような要約は、開発者のコード理解とメンテナンスを促進する上で重要な役割を担います。
ニューラルネットワーク翻訳にインスパイアされたディープラーニングベースのコード要約技術では、エンコーダが与えられたコードスニペットをコンテキストベクトルに変換し、デコーダがコンテキストベクトルを要約に変換するエンコーダ-デコーダフレームワークが広く採用されている。
近年、ソースコードの大規模事前学習モデルには、一般的な文脈ベクトルを生成できるエンコーダが備わっており、コード要約の大幅な改善が達成されている。
しかし、それらは主にコード中心のタスクで訓練されており、一般的なコード機能を取り込むことができるが、要約する必要がある特定の機能を取り込むには不足している。
本稿では,要約に焦点をあてたタスクに基づいて,コード要約を改善する新しい手法を提案する。
具体的には,一方向言語モデリング (ULM) やマスク言語モデリング (MLM) ,行動単語予測 (AWP) など,一方向言語モデリング (ULM) など,コード終末アライメントの学習能力を高めるために,エンコーダを3つの要約タスクで訓練するためにマルチタスク学習パラダイムを利用する。
コードスニペット内のマスク付きトークンを主に予測する事前学習モデルとは異なり、要約中のマスク付き単語を予測するために、ULMとMLMを設計する。
直感的には、与えられたコードスニペットに基づいて単語を予測することは、コード-終末アライメントを学ぶのに役立つ。
さらに、ドメイン固有のタスクAWPを導入し、エンコーダがアクションワードとコードスニペットのアライメントを学習できるようにする。
4つのデータセットに対する広範な実験により、ESALEと呼ばれる我々のアプローチは、BLEU、METEOR、ROUGE-Lを含む広く使用されている3つの指標のベースラインを大幅に上回っていることが示された。
関連論文リスト
- CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。
CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。
5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
論文 参考訳（メタデータ） (2024-04-24T04:25:04Z) - Zero-Shot Code Representation Learning via Prompt Tuning [6.40875582886359]
コード表現を学習するためのゼロショットアプローチであるZecolerを提案する。
Zecolerは、事前訓練されたプログラミング言語モデルの上に構築されている。
我々はZecolerを,コードクローン検出,コード検索,メソッド名予測,コード要約,コード生成を含む5つのコードインテリジェンスタスクで評価する。
論文 参考訳（メタデータ） (2024-04-13T09:47:07Z) - SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code
Summarization [51.67317895094664]
本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。
長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
論文 参考訳（メタデータ） (2024-01-26T09:23:27Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳（メタデータ） (2023-05-13T14:23:07Z) - Soft-Labeled Contrastive Pre-training for Function-level Code
Representation [127.71430696347174]
textbfSoft-labeled contrastive pre-training framework with two positive sample construction method。
大規模コードコーパスにおけるコード間の関連性を考慮すると、ソフトラベル付きコントラスト付き事前学習は、きめ細かいソフトラベルを得ることができる。
SCodeRは、7つのデータセットで4つのコード関連タスクに対して、最先端のパフォーマンスを新たに達成する。
論文 参考訳（メタデータ） (2022-10-18T05:17:37Z) - An Extractive-and-Abstractive Framework for Source Code Summarization [28.553366270065656]
コード要約は、自然言語の形式で与えられたコードスニペットの要約/記事を自動的に生成することを目的としている。
そこで本研究では,人文的な要約を生成できる新しい抽出・抽象的枠組みを提案する。
論文 参考訳（メタデータ） (2022-06-15T02:14:24Z) - GypSum: Learning Hybrid Representations for Code Summarization [21.701127410434914]
GypSumは、グラフアテンションニューラルネットワークと事前学習されたプログラミングと自然言語モデルを使用してハイブリッド表現を学習する、新しいディープラーニングモデルである。
本稿では,トランスフォーマーデコーダのエンコーダ-デコーダサブレイヤを変更して表現を融合させ,要約生成を容易にするデュアルコピー機構を提案する。
論文 参考訳（メタデータ） (2022-04-26T07:44:49Z) - CLSEBERT: Contrastive Learning for Syntax Enhanced Code Pre-Trained
Model [23.947178895479464]
CLSEBERTは,構文強化符号事前学習モデルのための構築学習フレームワークである。
事前学習段階では、抽象構文木(AST)に含まれるコード構文と階層について検討する。
ひとつは抽象構文木内のノード間のエッジを予測することであり、もう一つはコードトークンの型を予測することである。
論文 参考訳（メタデータ） (2021-08-10T10:08:21Z) - Project-Level Encoding for Neural Source Code Summarization of
Subroutines [6.939768185086755]
コード要約のモデルを改善するプロジェクトレベルのエンコーダを提案する。
我々はこの表現を用いて、最先端のニューラルネットワーク要約技術のエンコーダを強化する。
論文 参考訳（メタデータ） (2021-03-22T06:01:07Z) - GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。
これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。
コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
論文 参考訳（メタデータ） (2020-09-17T15:25:56Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。