論文の概要: SparseCoder: Advancing Source Code Analysis with Sparse Attention and Learned Token Pruning
- arxiv url: http://arxiv.org/abs/2310.07109v2
- Date: Wed, 11 Sep 2024 23:15:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 22:22:54.258675
- Title: SparseCoder: Advancing Source Code Analysis with Sparse Attention and Learned Token Pruning
- Title(参考訳): SparseCoder: スパースアテンションと学習トークンプルーニングによるソースコード解析の改善
- Authors: Xueqi Yang, Mariusz Jakubowski, Li Kang, Haojie Yu, Tim Menzies,
- Abstract要約: 本稿では、スパースアテンションと学習トークンプルーニングを取り入れた革新的なアプローチであるSparseCoderを紹介する。
従来の最先端モデルであるCodeBERT,RoBERTa,CodeT5と比較して,SparseCoderがはるかに長い入力シーケンスを処理可能であることを示す。
SparseCoderは測定した他のメソッドの4倍高速で、1秒あたりの浮動小数点演算の50%削減を実現している。
- 参考スコア(独自算出の注目度): 10.067863549963834
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As software projects rapidly evolve, software artifacts become more complex and defects behind get harder to identify. The emerging Transformer-based approaches, though achieving remarkable performance, struggle with long code sequences due to their self-attention mechanism, which scales quadratically with the sequence length. This paper introduces SparseCoder, an innovative approach incorporating sparse attention and learned token pruning (LTP) method (adapted from natural language processing) to address this limitation. Compared to previous state-of-the-art models CodeBERT, RoBERTa, and CodeT5, our experiments demonstrate that SparseCoder can handle significantly longer input sequences--at least twice as long, within the limits of our hardware resources and data statistics. Additionally, SparseCoder is four times faster than other methods measured in runtime, achieving a 50% reduction in floating point operations per second (FLOPs) with a negligible performance drop of less than 1% compared to Transformers using sparse attention (Sparse Atten). Plotting FLOPs of model inference against token lengths reveals that SparseCoder scales linearly, whereas other methods, including the current state-of-the-art model CodeT5, scale quadratically. Moreover, SparseCoder enhances interpretability by visualizing non-trivial tokens layer-wise.
- Abstract(参考訳): ソフトウェアプロジェクトが急速に進化するにつれて、ソフトウェアアーチファクトはより複雑になり、裏にある欠陥は識別しにくくなります。
Transformerベースの新たなアプローチは、優れたパフォーマンスを達成しているが、シーケンス長を4倍にスケールする自己アテンションメカニズムのために、長いコードシーケンスに苦労している。
本稿では、この制限に対処するために、スパースアテンションと学習トークンプルーニング(LTP)手法を取り入れた革新的なアプローチであるSparseCoderを紹介する。
従来の最先端モデルであるCodeBERT、RoBERTa、CodeT5と比較して、SparseCoderはハードウェアリソースとデータ統計の限界の中で、少なくとも2倍の長い入力シーケンスを処理できることを示した。
さらに、SparseCoderはランタイムで測定された他のメソッドの4倍の速度で、1秒あたりの浮動小数点演算(FLOP)の50%削減を実現している。
トークン長に対するモデル推論のFLOPは、SparseCoderが線形にスケールするのに対して、現在の最先端モデルであるCodeT5を含む他のメソッドは、二次的にスケールすることを示している。
さらに、SparseCoderは非自明なトークンを階層的に視覚化することで、解釈可能性を高める。
関連論文リスト
- Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
低密度パリティ・チェック符号は、他の種類の符号よりもいくつかの利点がある。
提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
論文 参考訳(メタデータ) (2024-06-09T12:08:56Z) - Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
投機的サンプリングに特化して設計された新しいフレームワークを提案する。
このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。
我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
論文 参考訳(メタデータ) (2024-02-24T08:10:39Z) - A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-10T11:14:53Z) - Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。
復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。
本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文 参考訳(メタデータ) (2024-01-15T17:26:50Z) - Sketch and shift: a robust decoder for compressive clustering [17.627195350266796]
圧縮学習は、大規模学習のメモリフットプリントを大幅に削減する、新たなアプローチである。
CL-OMPRよりも大幅に改善された代替デコーダを提案する。
提案アルゴリズムは,従来より10倍小さいMNISTデータセットのスケッチからクラスタリング情報を抽出することができる。
論文 参考訳(メタデータ) (2023-12-15T16:53:55Z) - Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。
文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
論文 参考訳(メタデータ) (2023-05-18T16:02:04Z) - You Need Multiple Exiting: Dynamic Early Exiting for Accelerating
Unified Vision Language Model [37.24203191658052]
大規模なTransformerモデルは、統一アーキテクチャで様々な下流視覚言語タスクに大幅な改善をもたらす。
性能改善は、モデルサイズが増大し、推論速度が遅くなり、厳格化のコストが増大する。
本稿では,エンコーダとデコーダのレイヤを動的にスキップできる統一視覚言語モデルのための新しい早期終了戦略を提案する。
論文 参考訳(メタデータ) (2022-11-21T02:32:25Z) - Software Vulnerability Detection via Deep Learning over Disaggregated
Code Graph Representation [57.92972327649165]
この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。
コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
論文 参考訳(メタデータ) (2021-09-07T21:24:36Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳(メタデータ) (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。