論文の概要: Code Structure Guided Transformer for Source Code Summarization

• arxiv url: http://arxiv.org/abs/2104.09340v1
• Date: Mon, 19 Apr 2021 14:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:03:28.463945
• Title: Code Structure Guided Transformer for Source Code Summarization
• Title（参考訳）: ソースコード要約のためのコード構造案内変換器
• Authors: Shuzheng Gao, Cuiyun Gao, Yulan He, Jichuan Zeng, Lun Yiu Nie, Xin Xia
• Abstract要約: トランスフォーマーベースのアプローチは、コードセマンティクスのキャプチャに重要なコード構造情報を明示的に組み込むものではない。 コード構造特性をトランスフォーマーに組み込むSG-Transという新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 17.512699897227055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Source code summarization aims at generating concise descriptions of given programs' functionalities. While Transformer-based approaches achieve promising performance, they do not explicitly incorporate the code structure information which is important for capturing code semantics. Besides, without explicit constraints, multi-head attentions in Transformer may suffer from attention collapse, leading to poor code representations for summarization. Effectively integrating the code structure information into Transformer is under-explored in this task domain. In this paper, we propose a novel approach named SG-Trans to incorporate code structural properties into Transformer. Specifically, to capture the hierarchical characteristics of code, we inject the local symbolic information (e.g., code tokens) and global syntactic structure (e.g., data flow) into the self-attention module as inductive bias. Extensive evaluation shows the superior performance of SG-Trans over the state-of-the-art approaches.
• Abstract（参考訳）: ソースコード要約は、与えられたプログラムの機能の簡潔な記述を生成することを目的としている。 Transformerベースのアプローチは有望なパフォーマンスを実現するが、コードセマンティクスをキャプチャする上で重要なコード構造情報を明示的に組み込んでいるわけではない。 さらに、明示的な制約がなければ、Transformerのマルチヘッドアテンションは注意の崩壊に悩まされ、要約のためのコード表現が貧弱になる可能性がある。 このタスク領域では、コード構造情報をtransformerに効果的に統合することは未検討である。 本稿では,コード構造特性をTransformerに組み込むSG-Transという新しい手法を提案する。 具体的には、コードの階層的な特徴を捉えるために、局所的なシンボル情報(コードトークンなど)とグローバルな構文構造(データフローなど)を帰納的バイアスとして自己保持モジュールに注入する。 総合評価の結果,SG-Transは最先端手法よりも優れた性能を示した。

関連論文リスト

• CodeSAM: Source Code Representation Learning by Infusing Self-Attention with Multi-Code-View Graphs [8.850533100643547]
  我々は,複数のコードビューをトランスフォーマーベースモデルに注入する新しいフレームワークであるCodeSAMを提案する。 CodeSAMを使って、セマンティックコード検索、コードクローン検出、プログラム分類の下流SEタスクでCodeBERTのような小さな言語モデル(SLM)を微調整します。
  論文  参考訳（メタデータ） (2024-11-21T22:24:47Z)
• SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
  本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。 長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
  論文  参考訳（メタデータ） (2024-01-26T09:23:27Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• Source Code Summarization with Structural Relative Position Guided Transformer [19.828300746504148]
  ソースコードの要約は、プログラミング言語の簡潔で明確な自然言語記述を生成することを目的としている。 近年の取り組みは、Transformerなどのニューラルネットワークにコードの構文構造を組み込むことに重点を置いている。 SCRIPTと呼ばれる構造相対位置案内変換器を提案する。
  論文  参考訳（メタデータ） (2022-02-14T07:34:33Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• SIT3: Code Summarization with Structure-Induced Transformer [48.000063280183376]
  シーケンシャル入力を高効率な構造モデリングでエンコードする構造誘起自己保持に基づく新しいモデルを提案する。 新たに提案したモデルでは,一般的なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2020-12-29T11:37:43Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback [6.230751621285322]
  我々は、明示的なコード生成のためのモダントランスフォーマーアーキテクチャを導入し、研究する。 我々は、擬似関連フィードバックを用いて外部知識を組み込んだRelevance Transformerと呼ばれる新しいモデルを提案する。 その結果,BLEU評価に基づく最先端手法の改善が示された。
  論文  参考訳（メタデータ） (2020-07-06T09:54:17Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。