論文の概要: CodePrompt: Improving Source Code-Related Classification with Knowledge
Features through Prompt Learning
- arxiv url: http://arxiv.org/abs/2401.05544v1
- Date: Wed, 10 Jan 2024 20:49:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-13 02:10:57.520785
- Title: CodePrompt: Improving Source Code-Related Classification with Knowledge
Features through Prompt Learning
- Title（参考訳）: CodePrompt: プロンプト学習による知識機能によるソースコード関連分類の改善
- Authors: Yong Ma, Senlin Luo, Yu-Ming Shang, Yifei Zhang, Zhengjun Li
- Abstract要約: 既存のアプローチでは、ソースコードと関連するテキストの両方に含まれる豊富な知識を活用できないため、精度が低下する可能性がある。
本稿では,事前学習モデルからリコールされた豊富な知識を,学習の迅速化とソースコード関連分類タスク改善のためのアテンション機構によって活用する,新しいアプローチであるCodePromptを提案する。
- 参考スコア（独自算出の注目度）: 12.527667373513395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Researchers have explored the potential of utilizing pre-trained language
models, such as CodeBERT, to improve source code-related tasks. Previous
studies have mainly relied on CodeBERT's text embedding capability and the
`[CLS]' sentence embedding information as semantic representations for
fine-tuning downstream source code-related tasks. However, these methods
require additional neural network layers to extract effective features,
resulting in higher computational costs. Furthermore, existing approaches have
not leveraged the rich knowledge contained in both source code and related
text, which can lead to lower accuracy. This paper presents a novel approach,
CodePrompt, which utilizes rich knowledge recalled from a pre-trained model by
prompt learning and an attention mechanism to improve source code-related
classification tasks. Our approach initially motivates the language model with
prompt information to retrieve abundant knowledge associated with the input as
representative features, thus avoiding the need for additional neural network
layers and reducing computational costs. Subsequently, we employ an attention
mechanism to aggregate multiple layers of related knowledge for each task as
final features to boost their accuracy. We conducted extensive experiments on
four downstream source code-related tasks to evaluate our approach and our
results demonstrate that CodePrompt achieves new state-of-the-art performance
on the accuracy metric while also exhibiting computation cost-saving
capabilities.
- Abstract（参考訳）: 研究者は、ソースコード関連のタスクを改善するために、CodeBERTのような事前訓練済みの言語モデルを活用する可能性を探っている。
これまでの研究は主に、CodeBERTのテキスト埋め込み機能と、[CLS]'文の埋め込み情報を、下流のソースコード関連タスクを微調整するための意味表現として利用してきた。
しかし、これらの手法は効果的な特徴を抽出するために追加のニューラルネットワーク層を必要とするため、計算コストが高い。
さらに、既存のアプローチでは、ソースコードと関連するテキストの両方に含まれる豊富な知識を活用できないため、精度が低下する可能性がある。
本稿では,事前学習モデルからリコールされた豊富な知識を利用して,ソースコード関連分類タスクを改善するための学習と注意機構を提案する。
提案手法は,入力に関連する豊富な知識を代表的特徴として取り出すために,まず言語モデルを動機付け,追加のニューラルネットワーク層の必要性を回避し,計算コストを低減させる。
その後、各タスクに関連する複数の知識層を最終特徴として集約し、その精度を高めるために注意機構を用いる。
我々は4つの下流のソースコード関連タスクを広範囲に実験し,そのアプローチを評価し,codepromptが精度測定で新たな最先端性能を達成し,計算コスト削減能力も発揮できることを実証した。
関連論文リスト
- ChatGPT Code Detection: Techniques for Uncovering the Source of Code [0.0]
高度な分類技術を用いて、人間によって書かれたコードとChatGPTによって生成されたコードとを区別する。
我々は、強力な埋め込み機能(ブラックボックス)と教師付き学習アルゴリズムを組み合わせた新しいアプローチを採用する。
トレーニングされていない人間は、ランダムな推測よりも、同じタスクを解くことが示される。
論文 参考訳（メタデータ） (2024-05-24T12:56:18Z) - Enhancing Source Code Representations for Deep Learning with Static
Analysis [10.222207222039048]
本稿では,静的解析とバグレポートやデザインパターンなどのコンテキストを,ディープラーニングモデルのためのソースコード表現に統合する方法について検討する。
我々はASTNN(Abstract Syntax Tree-based Neural Network)法を用いて,バグレポートやデザインパターンから得られたコンテキスト情報を追加して拡張する。
提案手法はソースコードの表現と処理を改善し,タスク性能を向上させる。
論文 参考訳（メタデータ） (2024-02-14T20:17:04Z) - Sparse Attention-Based Neural Networks for Code Classification [15.296053323327312]
コード分類のためのスパース注意型ニューラルネットワーク(SACC)を提案する。
最初のステップでは、ソースコードは構文解析と前処理を行う。
サブツリーの符号化されたシーケンスは、分類のためにスパースアテンション機構を組み込んだTransformerモデルに入力される。
論文 参考訳（メタデータ） (2023-11-11T14:07:12Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Hierarchical Deep Counterfactual Regret Minimization [53.86223883060367]
本稿では,大規模な状態空間や深部ゲームツリーを含むタスクにおいて,学習効率を向上させる革新的な手法であるDeep CFRの最初の階層バージョンを紹介する。
HDCFRのこれまでの研究よりも顕著な利点は、事前に定義された(人間的な)専門知識による学習の促進と、同様のタスクに移行可能なスキルの獲得を促進する能力である。
論文 参考訳（メタデータ） (2023-05-27T02:05:41Z) - AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning [53.32576252950481]
連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。
本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
論文 参考訳（メタデータ） (2023-05-19T07:39:17Z) - Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。
文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
論文 参考訳（メタデータ） (2023-05-18T16:02:04Z) - KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in
Few-Shot NLP [68.43279384561352]
既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。
これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。
我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
論文 参考訳（メタデータ） (2022-06-21T11:34:02Z) - CCLF: A Contrastive-Curiosity-Driven Learning Framework for
Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。
CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。
このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文 参考訳（メタデータ） (2022-05-02T14:42:05Z) - Enhancing Semantic Code Search with Multimodal Contrastive Learning and
Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。
我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-04-07T08:49:27Z) - DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for
Natural Language Understanding [19.478288026844893]
知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。
従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。
本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
論文 参考訳（メタデータ） (2021-12-02T08:19:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。