Fugu-MT 論文翻訳(概要): Sparse Attention-Based Neural Networks for Code Classification

論文の概要: Sparse Attention-Based Neural Networks for Code Classification

arxiv url: http://arxiv.org/abs/2311.06575v1
Date: Sat, 11 Nov 2023 14:07:12 GMT
ステータス: 処理完了
システム内更新日: 2023-11-14 17:58:37.941662
Title: Sparse Attention-Based Neural Networks for Code Classification
Title（参考訳）: スパース注意に基づくコード分類のためのニューラルネットワーク
Authors: Ziyang Xiang, Zaixi Zhang, Qi Liu
Abstract要約: コード分類のためのスパース注意型ニューラルネットワーク(SACC)を提案する。最初のステップでは、ソースコードは構文解析と前処理を行う。サブツリーの符号化されたシーケンスは、分類のためにスパースアテンション機構を組み込んだTransformerモデルに入力される。
参考スコア（独自算出の注目度）: 15.296053323327312
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Categorizing source codes accurately and efficiently is a challenging problem in real-world programming education platform management. In recent years, model-based approaches utilizing abstract syntax trees (ASTs) have been widely applied to code classification tasks. We introduce an approach named the Sparse Attention-based neural network for Code Classification (SACC) in this paper. The approach involves two main steps: In the first step, source code undergoes syntax parsing and preprocessing. The generated abstract syntax tree is split into sequences of subtrees and then encoded using a recursive neural network to obtain a high-dimensional representation. This step simultaneously considers both the logical structure and lexical level information contained within the code. In the second step, the encoded sequences of subtrees are fed into a Transformer model that incorporates sparse attention mechanisms for the purpose of classification. This method efficiently reduces the computational cost of the self-attention mechanisms, thus improving the training speed while preserving effectiveness. Our work introduces a carefully designed sparse attention pattern that is specifically designed to meet the unique needs of code classification tasks. This design helps reduce the influence of redundant information and enhances the overall performance of the model. Finally, we also deal with problems in previous related research, which include issues like incomplete classification labels and a small dataset size. We annotated the CodeNet dataset with algorithm-related labeling categories, which contains a significantly large amount of data. Extensive comparative experimental results demonstrate the effectiveness and efficiency of SACC for the code classification tasks.
Abstract（参考訳）: ソースコードを正確かつ効率的に分類することは、実世界のプログラミング教育プラットフォーム管理において難しい問題である。近年,抽象構文木(AST)を用いたモデルベースアプローチがコード分類タスクに広く適用されている。本稿では,SACC(Sparse Attention-based Neural Network for Code Classification)というアプローチを紹介する。最初のステップでは、ソースコードが構文解析と事前処理を受けています。生成された抽象構文木をサブツリーのシーケンスに分割し、再帰的ニューラルネットワークを用いて符号化して高次元表現を得る。このステップでは、コードに含まれる論理構造と語彙レベルの情報の両方を同時に検討する。第2のステップでは、サブツリーの符号化されたシーケンスは、分類のためにスパースアテンション機構を組み込んだトランスフォーマーモデルに供給される。この方法は、自己認識機構の計算コストを効率よく低減し、有効性を保ちながらトレーニング速度を向上させる。私たちの研究は、コード分類タスクのユニークなニーズを満たすように設計された、慎重に設計されたスパースアテンションパターンを導入しました。この設計は冗長な情報の影響を低減し、モデル全体の性能を向上させるのに役立つ。最後に,前回の研究では,不完全分類ラベルやデータセットサイズの小さといった問題も扱っている。我々は,CodeNetデータセットに,膨大な量のデータを含むアルゴリズム関連ラベリングカテゴリを付加した。コード分類作業におけるSACCの有効性と効率を比較検討した。

関連論文リスト

Enhancing Source Code Classification Effectiveness via Prompt Learning Incorporating Knowledge Features [11.677042100480232]
我々は,事前学習したモデルから入力シーケンスに関連する豊富な知識を抽出するために,素早い学習を利用するテキスト分類手法であるCodeClassPromptを提案する。注意機構を適用することで、タスク固有の特徴に多層的知識を合成し、分類精度を向上する。
論文参考訳（メタデータ） (2024-01-10T20:49:59Z)
Sketch and shift: a robust decoder for compressive clustering [17.627195350266796]
圧縮学習は、大規模学習のメモリフットプリントを大幅に削減する、新たなアプローチである。 CL-OMPRよりも大幅に改善された代替デコーダを提案する。提案アルゴリズムは,従来より10倍小さいMNISTデータセットのスケッチからクラスタリング情報を抽出することができる。
論文参考訳（メタデータ） (2023-12-15T16:53:55Z)
Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文参考訳（メタデータ） (2023-06-20T03:00:22Z)
Dynamic Conceptional Contrastive Learning for Generalized Category Discovery [76.82327473338734]
Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。 GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-30T14:04:39Z)
Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文参考訳（メタデータ） (2022-11-01T18:33:20Z)
Bioinspired Cortex-based Fast Codebook Generation [0.09449650062296822]
脳内の知覚皮質ネットワークにインスパイアされた特徴抽出法を提案する。バイオインスパイアされた大脳皮質と呼ばれるこのアルゴリズムは、より優れた計算効率を持つストリーミング信号の特徴に収束する。ここでは、クラスタリングおよびベクトル量子化における大脳皮質モデルの優れた性能を示す。
論文参考訳（メタデータ） (2022-01-28T18:37:43Z)
Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文参考訳（メタデータ） (2020-10-01T15:59:31Z)
GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
論文参考訳（メタデータ） (2020-09-17T15:25:56Z)
Learning Generalized Relational Heuristic Networks for Model-Agnostic Planning [29.714818991696088]
本稿では,記号的行動モデルが存在しない場合の一般化を学習するための新しいアプローチを開発する。データの効率的で一般化可能な学習を容易にするために、抽象状態表現を使用する。
論文参考訳（メタデータ） (2020-07-10T06:08:28Z)
Conditional Classification: A Solution for Computational Energy Reduction [2.182419181054266]
本稿では,畳み込みニューラルネットワークモデルの計算複雑性を低減する新しい手法を提案する。提案手法は,1)入力サンプルを一連の超クラスに分類する粗粒分類,2)最終ラベルを第1ステップで検出した超クラス間で予測する細粒分類の2段階に分類する。
論文参考訳（メタデータ） (2020-06-29T03:50:39Z)
Improved Code Summarization via a Graph Neural Network [96.03715569092523]
一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
論文参考訳（メタデータ） (2020-04-06T17:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。