論文の概要: Graph Conditioned Sparse-Attention for Improved Source Code
Understanding
- arxiv url: http://arxiv.org/abs/2112.00663v1
- Date: Wed, 1 Dec 2021 17:21:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 16:21:15.585219
- Title: Graph Conditioned Sparse-Attention for Improved Source Code
Understanding
- Title(参考訳): ソースコード理解を改善するためのグラフ条件付きスパースアテンション
- Authors: Junyan Cheng, Iordanis Fostiropoulos and Barry Boehm
- Abstract要約: 本稿では,スパース自己認識機構の注目マスクとしてグラフ隣接行列を用いて,ソースコードスニペットをグラフのモダリティで条件付けすることを提案する。
提案手法は,コード要約タスクにおけるBLEU, METEOR, ROUGE-Lの計測結果に到達し, 可変誤用タスクにおけるほぼ最先端の精度を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer architectures have been successfully used in learning source code
representations. The fusion between a graph representation like Abstract Syntax
Tree (AST) and a source code sequence makes the use of current approaches
computationally intractable for large input sequence lengths. Source code can
have long-range dependencies that require larger sequence lengths to model
effectively. Current approaches have a quadratic growth in computational and
memory costs with respect to the sequence length. Using such models in
practical scenarios is difficult. In this work, we propose the conditioning of
a source code snippet with its graph modality by using the graph adjacency
matrix as an attention mask for a sparse self-attention mechanism and the use
of a graph diffusion mechanism to model longer-range token dependencies. Our
model reaches state-of-the-art results in BLEU, METEOR, and ROUGE-L metrics for
the code summarization task and near state-of-the-art accuracy in the variable
misuse task. The memory use and inference time of our model have linear growth
with respect to the input sequence length as compared to the quadratic growth
of previous works.
- Abstract(参考訳): トランスフォーマーアーキテクチャはソースコード表現の学習に成功している。
抽象構文木(AST)のようなグラフ表現とソースコードシーケンスとの融合により、大きな入力シーケンス長に対して計算的に抽出可能な現在のアプローチが用いられる。
ソースコードは、効果的にモデリングするためにより大きなシーケンス長を必要とする長距離依存関係を持つことができる。
現在のアプローチでは、シーケンス長に関する計算とメモリコストの2次的な成長がある。
このようなモデルを現実的なシナリオで使うのは難しい。
本研究では,疎自己注意機構の注意マスクとしてグラフ隣接行列を用いて,そのグラフモダリティを考慮したソースコードスニペットの条件付けと,長距離トークン依存性をモデル化するためのグラフ拡散機構の利用を提案する。
提案手法は,コード要約タスクにおけるBLEU, METEOR, ROUGE-Lの計測結果に到達し, 可変誤用タスクにおけるほぼ最先端の精度を示す。
本モデルでは, メモリ使用量と推定時間は, 入力シーケンス長に対して, 以前の2次成長と比較して線形成長する。
関連論文リスト
- Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective
State Spaces [4.928791850200171]
グラフネットワークにおける長期コンテキストモデリングを強化する最初の試みであるGraph-Mambaを紹介する。
グラフ中心のノード優先順位付けと置換戦略を定式化し、文脈認識推論を強化する。
10のベンチマークデータセットの実験により、Graph-Mambaは長距離グラフ予測タスクにおいて最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-02-01T17:21:53Z) - Sparse Training of Discrete Diffusion Models for Graph Generation [50.691834214298]
グラフの生成モデルは、各ノードペアの相互作用を予測する必要があるため、スケーラビリティ上の問題に遭遇することが多い。
本稿では,SparseDiffについて紹介する。SparseDiffは,グラフ生成のためのデノナイズ拡散モデルである。
実験結果から, SparseDiffは, 小グラフと大グラフの両方において, 生成性能の同時一致を示す。
論文 参考訳(メタデータ) (2023-11-03T16:50:26Z) - A Unified View of Long-Sequence Models towards Modeling Million-Scale
Dependencies [0.0]
既存の解と長周期モデリングを、その純粋数学的定式化の観点から比較する。
次に、長いコンテキスト長がアプリケーションに依存しているにもかかわらず、より良いパフォーマンスをもたらすことを実証します。
大量のキャパシティを持つスパースモデルに着想を得て,百万単位の依存関係を扱う機械学習システムを提案する。
論文 参考訳(メタデータ) (2023-02-13T09:47:31Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2022-10-28T11:18:10Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - GN-Transformer: Fusing Sequence and Graph Representation for Improved
Code Summarization [0.0]
融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。
提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-11-17T02:51:37Z) - deGraphCS: Embedding Variable-based Flow Graph for Neural Code Search [15.19181807445119]
ソースコードを変数ベースのフローグラフに変換する学習可能なDeGraph for Code Search(deGraphCSと呼ばれる)を提案する。
C言語で記述された41,152のコードスニペットを含む大規模なデータセットをGitHubから収集しています。
論文 参考訳(メタデータ) (2021-03-24T06:57:44Z) - Time-varying Graph Representation Learning via Higher-Order Skip-Gram
with Negative Sampling [0.456877715768796]
我々は,スキップグラム埋め込み手法が行列分解を暗黙的に行うという事実に基づいて構築する。
負のサンプリングを持つ高次スキップグラムは、ノードと時間の役割を乱すことができることを示す。
提案手法を時間分解型対面近接データを用いて実証的に評価し,学習した時間変化グラフ表現が最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-06-25T12:04:48Z) - Auto-decoding Graphs [91.3755431537592]
生成モデルは、潜在コードからグラフを合成することを学ぶ自動デコーダである。
グラフは、おそらく接続パターンを特定するためにトレーニングされた自己アテンションモジュールを使用して合成される。
論文 参考訳(メタデータ) (2020-06-04T14:23:01Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳(メタデータ) (2020-05-01T23:29:36Z) - SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive
Connection [51.376723069962]
本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。
SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。
我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
論文 参考訳(メタデータ) (2020-03-22T07:58:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。