論文の概要: SparseCoder: Advancing Source Code Analysis with Sparse Attention and
Learned Token Pruning
- arxiv url: http://arxiv.org/abs/2310.07109v1
- Date: Wed, 11 Oct 2023 01:11:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 03:23:44.702722
- Title: SparseCoder: Advancing Source Code Analysis with Sparse Attention and
Learned Token Pruning
- Title(参考訳): SparseCoder: スパースアテンションと学習トークンプルーニングによるソースコード解析の改善
- Authors: Xueqi Yang, Mariusz Jakubowski, Kelly Kang, Haojie Yu and Tim Menzies
- Abstract要約: トランスフォーマーベースのアプローチは、優れたパフォーマンスを達成するが、自己注意機構のため、長いコードシーケンスに苦労する。
本稿では、スパースアテンションと学習トークンプルーニングを取り入れた革新的なアプローチであるSparseCoderを紹介する。
脆弱性検出のための大規模なデータセット上で実施された大規模な実験は、SparseCoderの有効性と効率を実証している。
- 参考スコア(独自算出の注目度): 9.770054863791808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As software projects rapidly evolve, software artifacts become more complex
and defects behind get harder to identify. The emerging Transformer-based
approaches, though achieving remarkable performance, struggle with long code
sequences due to their self-attention mechanism, which scales quadratically
with the sequence length. This paper introduces SparseCoder, an innovative
approach incorporating sparse attention and learned token pruning (LTP) method
(adapted from natural language processing) to address this limitation.
Extensive experiments carried out on a large-scale dataset for vulnerability
detection demonstrate the effectiveness and efficiency of SparseCoder, scaling
from quadratically to linearly on long code sequence analysis in comparison to
CodeBERT and RoBERTa. We further achieve 50% FLOPs reduction with a negligible
performance drop of less than 1% comparing to Transformer leveraging sparse
attention. Moverover, SparseCoder goes beyond making "black-box" decisions by
elucidating the rationale behind those decisions. Code segments that contribute
to the final decision can be highlighted with importance scores, offering an
interpretable, transparent analysis tool for the software engineering
landscape.
- Abstract(参考訳): ソフトウェアプロジェクトが急速に進化するにつれて、ソフトウェアアーチファクトはより複雑になり、裏にある欠陥は識別しにくくなります。
新たに登場したトランスフォーマーベースのアプローチは、驚くべきパフォーマンスを実現しているが、シーケンス長と2倍スケールする自己アテンション機構のため、長いコードシーケンスに苦しむ。
本稿では,この制限に対処するために,スパースアテンションと学習トークンプルーニング(LTP)手法を取り入れた革新的なアプローチであるSparseCoderを紹介する。
脆弱性検出のための大規模なデータセット上で実施された大規模な実験は、CodeBERTやRoBERTaと比較して、SparseCoderの有効性と効率を4次から線形に拡張した。
さらに,少なからぬ注意力を利用した変圧器と比較して,性能低下が1%未満で50%のフラップ削減を達成している。
その上で、SparseCoderは、これらの決定の背後にある理論的根拠を解明することによって、"ブラックボックス"決定を超越します。
最終決定に寄与するコードセグメントは重要度スコアで強調され、ソフトウェア工学の展望に解釈可能で透過的な分析ツールを提供する。
関連論文リスト
- Chimera: A Lossless Decoding Method for Accelerating Large Language
Models Inference by Fusing all Tokens [25.677308132947218]
投機的サンプリングに特化して設計された新しいフレームワークを提案する。
このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。
我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
論文 参考訳(メタデータ) (2024-02-24T08:10:39Z) - A Thorough Examination of Decoding Methods in the Era of LLMs [76.30313058201182]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-10T11:14:53Z) - SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code
Summarization [51.67317895094664]
本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。
長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
論文 参考訳(メタデータ) (2024-01-26T09:23:27Z) - Unlocking Efficiency in Large Language Model Inference: A Comprehensive
Survey of Speculative Decoding [48.23348694701169]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。
復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。
本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文 参考訳(メタデータ) (2024-01-15T17:26:50Z) - Sketch and shift: a robust decoder for compressive clustering [6.925686008876193]
圧縮学習は、大規模学習のメモリフットプリントを大幅に削減する、新たなアプローチである。
CL-OMPRよりも大幅に改善された代替デコーダを提案する。
提案アルゴリズムは,従来より10倍小さいMNISTデータセットのスケッチからクラスタリング情報を抽出することができる。
論文 参考訳(メタデータ) (2023-12-15T16:53:55Z) - You Need Multiple Exiting: Dynamic Early Exiting for Accelerating
Unified Vision Language Model [37.24203191658052]
大規模なTransformerモデルは、統一アーキテクチャで様々な下流視覚言語タスクに大幅な改善をもたらす。
性能改善は、モデルサイズが増大し、推論速度が遅くなり、厳格化のコストが増大する。
本稿では,エンコーダとデコーダのレイヤを動的にスキップできる統一視覚言語モデルのための新しい早期終了戦略を提案する。
論文 参考訳(メタデータ) (2022-11-21T02:32:25Z) - Software Vulnerability Detection via Deep Learning over Disaggregated
Code Graph Representation [57.92972327649165]
この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。
コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
論文 参考訳(メタデータ) (2021-09-07T21:24:36Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳(メタデータ) (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。