論文の概要: Source Code Summarization with Structural Relative Position Guided
Transformer
- arxiv url: http://arxiv.org/abs/2202.06521v1
- Date: Mon, 14 Feb 2022 07:34:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 17:15:55.617155
- Title: Source Code Summarization with Structural Relative Position Guided
Transformer
- Title（参考訳）: 構造相対位置案内トランスを用いたソースコード要約
- Authors: Zi Gong, Cuiyun Gao, Yasheng Wang, Wenchao Gu, Yun Peng, Zenglin Xu
- Abstract要約: ソースコードの要約は、プログラミング言語の簡潔で明確な自然言語記述を生成することを目的としている。
近年の取り組みは、Transformerなどのニューラルネットワークにコードの構文構造を組み込むことに重点を置いている。
SCRIPTと呼ばれる構造相対位置案内変換器を提案する。
- 参考スコア（独自算出の注目度）: 19.828300746504148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Source code summarization aims at generating concise and clear natural
language descriptions for programming languages. Well-written code summaries
are beneficial for programmers to participate in the software development and
maintenance process. To learn the semantic representations of source code,
recent efforts focus on incorporating the syntax structure of code into neural
networks such as Transformer. Such Transformer-based approaches can better
capture the long-range dependencies than other neural networks including
Recurrent Neural Networks (RNNs), however, most of them do not consider the
structural relative correlations between tokens, e.g., relative positions in
Abstract Syntax Trees (ASTs), which is beneficial for code semantics learning.
To model the structural dependency, we propose a Structural Relative Position
guided Transformer, named SCRIPT. SCRIPT first obtains the structural relative
positions between tokens via parsing the ASTs of source code, and then passes
them into two types of Transformer encoders. One Transformer directly adjusts
the input according to the structural relative distance; and the other
Transformer encodes the structural relative positions during computing the
self-attention scores. Finally, we stack these two types of Transformer
encoders to learn representations of source code. Experimental results show
that the proposed SCRIPT outperforms the state-of-the-art methods by at least
1.6%, 1.4% and 2.8% with respect to BLEU, ROUGE-L and METEOR on benchmark
datasets, respectively. We further show that how the proposed SCRIPT captures
the structural relative dependencies.
- Abstract（参考訳）: ソースコードの要約は、プログラミング言語の簡潔で明確な自然言語記述を生成することを目的としている。
よく書かれたコード要約は、プログラマがソフトウェア開発やメンテナンスプロセスに参加するのに役立ちます。
ソースコードの意味表現を学ぶために、最近の取り組みは、コードの構文構造をtransformerのようなニューラルネットワークに組み込むことに重点を置いている。
このようなトランスフォーマーベースのアプローチは、リカレントニューラルネットワーク(RNN)を含む他のニューラルネットワークよりも長距離依存をよりよく捉えることができるが、そのほとんどは、トークン間の構造的相対関係、例えば抽象構文木(AST)における相対的位置を考慮していない。
構造依存をモデル化するため,SCRIPTと呼ばれる構造相対位置案内変換器を提案する。
SCRIPTはまずソースコードのASTを解析してトークン間の構造的相対位置を取得し、次に2種類のTransformerエンコーダに渡す。
1つのトランスは構造的相対距離に応じて直接入力を調整し、もう1つのトランスはセルフアテンションスコアを計算する際に構造的相対位置を符号化する。
最後に,これら2種類のトランスフォーマーエンコーダを積み重ねてソースコードの表現を学習する。
実験結果から,提案したSCRIPTは,ベンチマークデータセット上でのBLEU,ROUGE-L,METEORに対して,少なくとも1.6%,1.4%,2.8%,最先端の手法よりも優れていた。
さらに,提案するスクリプトが構造的依存関係をどのように捉えるかを示す。
関連論文リスト
- Transformers are Efficient Compilers, Provably [11.459397066286822]
トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。
本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。
代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
論文 参考訳（メタデータ） (2024-10-07T20:31:13Z) - Structural Biases for Improving Transformers on Translation into
Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。
第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。
これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文 参考訳（メタデータ） (2022-08-11T22:42:24Z) - Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。
その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
論文 参考訳（メタデータ） (2022-05-30T12:27:48Z) - An Exploratory Study on Code Attention in BERT [8.488193857572211]
コード上でのPLMの注意行動を調査し,それを自然言語と比較する。
BERT は NLP において最も注目されているトークンとは対照的に,特に識別子やセパレータといった構文上のエンティティに注意を払っている。
この発見は、NLPで使われる一般的な埋め込みを使わずに、コード固有の表現を使用することで、研究コミュニティの恩恵を受けることができる。
論文 参考訳（メタデータ） (2022-04-05T21:23:10Z) - Enriching Transformers with Structured Tensor-Product Representations
for Abstractive Summarization [131.23966358405767]
抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。
モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。
本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-02T17:32:33Z) - Code Structure Guided Transformer for Source Code Summarization [17.512699897227055]
トランスフォーマーベースのアプローチは、コードセマンティクスのキャプチャに重要なコード構造情報を明示的に組み込むものではない。
コード構造特性をトランスフォーマーに組み込むSG-Transという新しい手法を提案する。
論文 参考訳（メタデータ） (2021-04-19T14:26:56Z) - SIT3: Code Summarization with Structure-Induced Transformer [48.000063280183376]
シーケンシャル入力を高効率な構造モデリングでエンコードする構造誘起自己保持に基づく新しいモデルを提案する。
新たに提案したモデルでは,一般的なベンチマークで最新の結果が得られる。
論文 参考訳（メタデータ） (2020-12-29T11:37:43Z) - GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。
これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。
コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
論文 参考訳（メタデータ） (2020-09-17T15:25:56Z) - Improved Code Summarization via a Graph Neural Network [96.03715569092523]
一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。
これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
論文 参考訳（メタデータ） (2020-04-06T17:36:42Z) - Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。
各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
論文 参考訳（メタデータ） (2020-01-14T02:05:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。