論文の概要: Dependency-Based Neural Representations for Classifying Lines of
Programs
- arxiv url: http://arxiv.org/abs/2004.10166v1
- Date: Wed, 8 Apr 2020 17:00:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 09:37:59.222222
- Title: Dependency-Based Neural Representations for Classifying Lines of
Programs
- Title(参考訳): プログラムの行分類のための依存型ニューラル表現
- Authors: Shashank Srikant, Nicolas Lesimple, Una-May O'Reilly
- Abstract要約: 本稿では,プログラムの行を脆弱性を含むものとして分類することの問題点について,機械学習を用いて検討する。
プログラムの行に現れるトークンの制御とデータ依存をキャプチャできる潜在機能空間における分散表現を求める。
これらの両方の要件をうまく示すニューラルネットワークアーキテクチャであるVulcanを紹介します。
- 参考スコア(独自算出の注目度): 8.566516145323808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the problem of classifying a line of program as containing a
vulnerability or not using machine learning. Such a line-level classification
task calls for a program representation which goes beyond reasoning from the
tokens present in the line. We seek a distributed representation in a latent
feature space which can capture the control and data dependencies of tokens
appearing on a line of program, while also ensuring lines of similar meaning
have similar features. We present a neural architecture, Vulcan, that
successfully demonstrates both these requirements. It extracts contextual
information about tokens in a line and inputs them as Abstract Syntax Tree
(AST) paths to a bi-directional LSTM with an attention mechanism. It
concurrently represents the meanings of tokens in a line by recursively
embedding the lines where they are most recently defined. In our experiments,
Vulcan compares favorably with a state-of-the-art classifier, which requires
significant preprocessing of programs, suggesting the utility of using deep
learning to model program dependence information.
- Abstract(参考訳): 脆弱性を含むプログラムの行を機械学習を用いて分類する問題について検討する。
このような行レベルの分類タスクは、行に存在するトークンから推論を超えたプログラム表現を要求する。
プログラムの行に現れるトークンの制御とデータ依存関係をキャプチャし、類似した意味の行が同様の特徴を持つことを保証できる潜在機能空間における分散表現を求める。
これらの両方の要件をうまく示すニューラルネットワークアーキテクチャであるVulcanを紹介します。
行内のトークンに関するコンテキスト情報を抽出し、注意機構を備えた双方向LSTMへの抽象構文木(AST)パスとして入力する。
これは、最近定義された行を再帰的に埋め込むことによって、行内のトークンの意味を同時に表現する。
私たちの実験では、vulcanは、プログラムの大幅な前処理を必要とする最先端の分類器と比較し、深層学習を使ってプログラム依存情報をモデル化するの有用性を示唆する。
関連論文リスト
- KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。
近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
論文 参考訳(メタデータ) (2024-10-14T07:39:30Z) - Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic
Segmentation [59.37587762543934]
本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。
既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。
マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
論文 参考訳(メタデータ) (2023-10-29T13:18:00Z) - Description-Enhanced Label Embedding Contrastive Learning for Text
Classification [65.01077813330559]
モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計
テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。
ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
論文 参考訳(メタデータ) (2023-06-15T02:19:34Z) - Unified Mask Embedding and Correspondence Learning for Self-Supervised
Video Segmentation [76.40565872257709]
我々は、局所的な識別的特徴学習のためのフレーム間密度対応を同時にモデル化する統合フレームワークを開発する。
ラベルなしビデオから直接マスク誘導シーケンシャルセグメンテーションを実行することができる。
我々のアルゴリズムは、2つの標準ベンチマーク(DAVIS17とYouTube-VOS)に最先端をセットする。
論文 参考訳(メタデータ) (2023-03-17T16:23:36Z) - LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。
GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。
そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
論文 参考訳(メタデータ) (2023-02-16T04:06:25Z) - Measuring the Interpretability of Unsupervised Representations via
Quantized Reverse Probing [97.70862116338554]
本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。
我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。
提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
論文 参考訳(メタデータ) (2022-09-07T16:18:50Z) - A Gaze into the Internal Logic of Graph Neural Networks, with Logic [0.0]
グラフニューラルネットワークはロジックプログラミングといくつかの重要な推論メカニズムを共有している。
本稿では,グラフのリンク構造と新しいノードのノード特性の情報内容から学習に伴う情報フローをモデル化する方法を示す。
我々のアプローチは、グラフニューラルネットワークのトレーニングと推論段階の重要な情報伝達ステップをPrologプログラムの助けを借りてエミュレートすることで構成される。
現実的な結果として,機械学習アルゴリズムとして見られる論理プログラムは,ノード特性予測ベンチマーク上で,技術の状態に近い動作を行う。
論文 参考訳(メタデータ) (2022-08-05T10:49:21Z) - Automated Feature-Topic Pairing: Aligning Semantic and Embedding Spaces
in Spatial Representation Learning [28.211312371895]
本稿では,特徴トピックペアリング(Feature-topic pairing)という新たな問題を定式化し,PSO(Particle Swarm Optimization)に基づくディープラーニングフレームワークを提案する。
具体的には,1)潜在的埋め込み特徴空間と2)意味的話題空間との間の自動アライメントタスクに問題を定式化する。
PSOに基づく解法を設計し、最適なトピックセットを同時に選択し、選択したトピックに基づいて対応する特徴を学習する。
論文 参考訳(メタデータ) (2021-09-22T21:55:36Z) - Self-Supervised Learning to Prove Equivalence Between Straight-Line
Programs via Rewrite Rules [9.1570563482476]
2つのプログラムは、1つのプログラムをもう1つのプログラムに書き換える、書き換え規則の一連の適用が存在する場合と同値である。
本稿では,プログラムペア間の等価性の証明を生成するために,トランスフォーマーモデルに基づくニューラルネットワークアーキテクチャを提案する。
我々のシステムであるS4Eqは、1万対の等価プログラムをキュレートしたデータセット上で97%の証明成功を達成した。
論文 参考訳(メタデータ) (2021-09-22T01:37:08Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z) - Multi-Label Text Classification using Attention-based Graph Neural
Network [0.0]
ラベル間の注意的依存構造を捉えるために,グラフアテンションネットワークに基づくモデルを提案する。
提案モデルでは, 従来の最先端モデルと比較して, 類似あるいは良好な性能が得られた。
論文 参考訳(メタデータ) (2020-03-22T17:12:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。