論文の概要: Graph Conditioned Sparse-Attention for Improved Source Code Understanding

• arxiv url: http://arxiv.org/abs/2112.00663v1
• Date: Wed, 1 Dec 2021 17:21:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 16:21:15.585219
• Title: Graph Conditioned Sparse-Attention for Improved Source Code Understanding
• Title（参考訳）: ソースコード理解を改善するためのグラフ条件付きスパースアテンション
• Authors: Junyan Cheng, Iordanis Fostiropoulos and Barry Boehm
• Abstract要約: 本稿では,スパース自己認識機構の注目マスクとしてグラフ隣接行列を用いて,ソースコードスニペットをグラフのモダリティで条件付けすることを提案する。 提案手法は,コード要約タスクにおけるBLEU, METEOR, ROUGE-Lの計測結果に到達し, 可変誤用タスクにおけるほぼ最先端の精度を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer architectures have been successfully used in learning source code representations. The fusion between a graph representation like Abstract Syntax Tree (AST) and a source code sequence makes the use of current approaches computationally intractable for large input sequence lengths. Source code can have long-range dependencies that require larger sequence lengths to model effectively. Current approaches have a quadratic growth in computational and memory costs with respect to the sequence length. Using such models in practical scenarios is difficult. In this work, we propose the conditioning of a source code snippet with its graph modality by using the graph adjacency matrix as an attention mask for a sparse self-attention mechanism and the use of a graph diffusion mechanism to model longer-range token dependencies. Our model reaches state-of-the-art results in BLEU, METEOR, and ROUGE-L metrics for the code summarization task and near state-of-the-art accuracy in the variable misuse task. The memory use and inference time of our model have linear growth with respect to the input sequence length as compared to the quadratic growth of previous works.
• Abstract（参考訳）: トランスフォーマーアーキテクチャはソースコード表現の学習に成功している。 抽象構文木(AST)のようなグラフ表現とソースコードシーケンスとの融合により、大きな入力シーケンス長に対して計算的に抽出可能な現在のアプローチが用いられる。 ソースコードは、効果的にモデリングするためにより大きなシーケンス長を必要とする長距離依存関係を持つことができる。 現在のアプローチでは、シーケンス長に関する計算とメモリコストの2次的な成長がある。 このようなモデルを現実的なシナリオで使うのは難しい。 本研究では,疎自己注意機構の注意マスクとしてグラフ隣接行列を用いて,そのグラフモダリティを考慮したソースコードスニペットの条件付けと,長距離トークン依存性をモデル化するためのグラフ拡散機構の利用を提案する。 提案手法は,コード要約タスクにおけるBLEU, METEOR, ROUGE-Lの計測結果に到達し, 可変誤用タスクにおけるほぼ最先端の精度を示す。 本モデルでは, メモリ使用量と推定時間は, 入力シーケンス長に対して, 以前の2次成長と比較して線形成長する。

関連論文リスト

• Learning Long Range Dependencies on Graphs via Random Walks [6.7864586321550595]
  メッセージパッシンググラフニューラルネットワーク(GNN)は、局所的な関係を捉えるのに優れているが、グラフの長距離依存に苦慮している。 グラフ変換器(GT)はグローバルな情報交換を可能にするが、グラフを固定長ベクトルの集合として表現することでグラフ構造を単純化することが多い。 この研究は、ランダムウォークの長距離情報とローカルメッセージパッシングを組み合わせることによって、両方のアプローチの欠点を克服する新しいアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2024-06-05T15:36:57Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective State Spaces [4.928791850200171]
  グラフネットワークにおける長期コンテキストモデリングを強化する最初の試みであるGraph-Mambaを紹介する。 グラフ中心のノード優先順位付けと置換戦略を定式化し、文脈認識推論を強化する。 10のベンチマークデータセットの実験により、Graph-Mambaは長距離グラフ予測タスクにおいて最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-01T17:21:53Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Gransformer: Transformer-based Graph Generation [14.161975556325796]
  Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。 我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。 また、ノードペア間のグラフベースの親しみ度尺度も導入する。
  論文  参考訳（メタデータ） (2022-03-25T14:05:12Z)
• GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
  融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。 提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-17T02:51:37Z)
• Auto-decoding Graphs [91.3755431537592]
  生成モデルは、潜在コードからグラフを合成することを学ぶ自動デコーダである。 グラフは、おそらく接続パターンを特定するためにトレーニングされた自己アテンションモジュールを使用して合成される。
  論文  参考訳（メタデータ） (2020-06-04T14:23:01Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。