Fugu-MT 論文翻訳(概要): CSA-Trans: Code Structure Aware Transformer for AST

論文の概要: CSA-Trans: Code Structure Aware Transformer for AST

arxiv url: http://arxiv.org/abs/2404.05767v1
Date: Sun, 7 Apr 2024 10:59:35 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 18:58:15.267607
Title: CSA-Trans: Code Structure Aware Transformer for AST
Title（参考訳）: CSA-Trans:AST用コード構造対応トランス
Authors: Saeyoon Oh, Shin Yoo,
Abstract要約: 本稿では,コード構造変換器(CSA-Trans)について述べる。コード構造埋め込み器(CSE)を用いてASTの各ノードに対して,特定のPEを生成する。自己注意能力をさらに拡張するために、ブロックモデル(SBM)の注意を取り入れる。 CSA-Transは、PythonとJavaの両方のコード要約タスクにおいて、14のベースラインを上回ります。
参考スコア（独自算出の注目度）: 11.88139878127856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: When applying the Transformer architecture to source code, designing a good self-attention mechanism is critical as it affects how node relationship is extracted from the Abstract Syntax Trees (ASTs) of the source code. We present Code Structure Aware Transformer (CSA-Trans), which uses Code Structure Embedder (CSE) to generate specific PE for each node in AST. CSE generates node Positional Encoding (PE) using disentangled attention. To further extend the self-attention capability, we adopt Stochastic Block Model (SBM) attention. Our evaluation shows that our PE captures the relationships between AST nodes better than other graph-related PE techniques. We also show through quantitative and qualitative analysis that SBM attention is able to generate more node specific attention coefficients. We demonstrate that CSA-Trans outperforms 14 baselines in code summarization tasks for both Python and Java, while being 41.92% faster and 25.31% memory efficient in Java dataset compared to AST-Trans and SG-Trans respectively.
Abstract（参考訳）: Transformerアーキテクチャをソースコードに適用する場合、ソースコードの抽象構文木(AST)からノード関係を抽出する方法に影響を与えるため、優れた自己アテンション機構を設計することが重要である。本稿では、コード構造認識変換器(CSA-Trans)について述べる。これは、コード構造埋め込み器(CSE)を用いてASTの各ノードに対して特定のPEを生成する。 CSEは不整合注意を用いてノード位置エンコーディング(PE)を生成する。自己注意能力をさらに拡張するために、確率ブロックモデル(SBM)の注意を取り入れる。評価の結果,我々のPEは,他のグラフ関連PE技術よりもASTノード間の関係をよく捉えていることがわかった。また,SBMアテンションがノード固有のアテンション係数をより多く生成できることを示す定量的,定性的な分析を行った。 CSA-Transは、PythonとJavaのコード要約タスクにおいて14のベースラインを上回り、AST-TransとSG-Transと比較して、Javaデータセットでは41.92%、メモリ効率は25.31%である。

関連論文リスト

AST-MHSA : Code Summarization using Multi-Head Self-Attention [1.588193964339148]
本稿では,抽象構文木(AST)から意味情報を抽出するためにマルチヘッドアテンションを用いたAST-MHSAモデルを提案する。モデルは、コードとサマリーのデータセットに基づいてトレーニングされ、生成されたサマリーとグラウンド・トゥルース・サマリーの間の損失を最小限に抑えるためにパラメータが最適化される。
論文参考訳（メタデータ） (2023-08-10T15:43:46Z)
SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
論文参考訳（メタデータ） (2023-07-31T04:38:47Z)
UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文参考訳（メタデータ） (2022-12-08T18:59:57Z)
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation [100.89770978711464]
セマンティックセグメンテーションのための単純な畳み込みネットワークアーキテクチャであるSegNeXtを提案する。コンボリューションアテンションは、トランスフォーマーの自己認識メカニズムよりも、文脈情報をエンコードするより効率的で効果的な方法であることを示す。
論文参考訳（メタデータ） (2022-09-18T14:33:49Z)
Understanding Long Programming Languages with Structure-Aware Sparse Attention [32.21325784213584]
本稿では,SASA(Structure-Aware Sparse Attention Mechanism)を提案する。 SASAの主要なコンポーネントは、上位$kのスパースアテンションとAST(Abstract Syntax Tree)ベースの構造アテンションである。 CodeXGLUEタスクの実験では、SASAは競合するベースラインよりも優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-05-27T02:50:57Z)
PACE: A Parallelizable Computation Encoder for Directed Acyclic Graphs [30.294095901315746]
本稿では,ノードを同時に処理し,DAGを並列に符号化する並列化アテンションベース構造(PACE)を提案する。 PACEは、トレーニングと推論速度を大幅に向上した従来のDAGエンコーダよりも効率を向上するだけでなく、スムーズな遅延(DAGエンコーディング)空間を生成する。
論文参考訳（メタデータ） (2022-03-19T11:56:51Z)
TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
論文参考訳（メタデータ） (2022-02-17T05:52:18Z)
Source Code Summarization with Structural Relative Position Guided Transformer [19.828300746504148]
ソースコードの要約は、プログラミング言語の簡潔で明確な自然言語記述を生成することを目的としている。近年の取り組みは、Transformerなどのニューラルネットワークにコードの構文構造を組み込むことに重点を置いている。 SCRIPTと呼ばれる構造相対位置案内変換器を提案する。
論文参考訳（メタデータ） (2022-02-14T07:34:33Z)
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-11-17T02:51:37Z)
Improved Code Summarization via a Graph Neural Network [96.03715569092523]
一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
論文参考訳（メタデータ） (2020-04-06T17:36:42Z)
Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
論文参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。