論文の概要: Precise Learning of Source Code Contextual Semantics via Hierarchical Dependence Structure and Graph Attention Networks

• arxiv url: http://arxiv.org/abs/2111.11435v1
• Date: Sat, 20 Nov 2021 04:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-26 04:26:11.210081
• Title: Precise Learning of Source Code Contextual Semantics via Hierarchical Dependence Structure and Graph Attention Networks
• Title（参考訳）: 階層的依存構造とグラフアテンションネットワークによるソースコード文脈意味論の精密学習
• Authors: Zhehao Zhao, Bo Yang, Ge Li, Huai Liu, Zhi Jin
• Abstract要約: 階層的な依存関係を組み込んだ新しいソースコードモデルを提案する。 本稿では,基本ブロックの構文構造,すなわち対応するASTをソースコードモデルに導入し,十分な情報を提供する。 その結果,本モデルではパラメータのスケールを50%削減し,プログラム分類タスクの精度を4%向上させることができた。
• 参考スコア（独自算出の注目度）: 28.212889828892664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning is being used extensively in a variety of software engineering tasks, e.g., program classification and defect prediction. Although the technique eliminates the required process of feature engineering, the construction of source code model significantly affects the performance on those tasks. Most recent works was mainly focused on complementing AST-based source code models by introducing contextual dependencies extracted from CFG. However, all of them pay little attention to the representation of basic blocks, which are the basis of contextual dependencies. In this paper, we integrated AST and CFG and proposed a novel source code model embedded with hierarchical dependencies. Based on that, we also designed a neural network that depends on the graph attention mechanism.Specifically, we introduced the syntactic structural of the basic block, i.e., its corresponding AST, in source code model to provide sufficient information and fill the gap. We have evaluated this model on three practical software engineering tasks and compared it with other state-of-the-art methods. The results show that our model can significantly improve the performance. For example, compared to the best performing baseline, our model reduces the scale of parameters by 50\% and achieves 4\% improvement on accuracy on program classification task.
• Abstract（参考訳）: ディープラーニングは、プログラム分類や欠陥予測など、さまざまなソフトウェアエンジニアリングタスクで広く使用されている。 このテクニックは、機能エンジニアリングに必要なプロセスを排除するが、ソースコードモデルの構築は、それらのタスクのパフォーマンスに大きく影響する。 最近の研究は主に、CFGから抽出されたコンテキスト依存を導入することで、ASTベースのソースコードモデルを補完することに焦点を当てている。 しかしながら、それらすべてが、コンテキスト依存の基盤である基本ブロックの表現にほとんど注意を払っていない。 本稿では,ASTとCFGを統合し,階層的依存関係を組み込んだ新しいソースコードモデルを提案する。 それに基づいて,グラフアテンション機構に依存するニューラルネットワークも設計した。具体的には,十分な情報を提供し,ギャップを埋めるために,基本ブロック,すなわち対応するastの構文構造をソースコードモデルに導入した。 我々はこのモデルを実用的ソフトウェア工学の3つのタスクで評価し,他の最先端手法と比較した。 その結果,モデルの性能は大幅に向上した。 例えば、最高の性能のベースラインと比較して、我々のモデルはパラメータのスケールを50\%削減し、プログラム分類タスクの精度を4\%向上させる。

関連論文リスト

• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Leveraging Reinforcement Learning and Large Language Models for Code Optimization [14.602997316032706]
  本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。 提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。 我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
  論文  参考訳（メタデータ） (2023-12-09T19:50:23Z)
• Structured Cooperative Learning with Graphical Model Priors [98.53322192624594]
  ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。 本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。 SCooLを評価し,既存の分散学習手法と比較した。
  論文  参考訳（メタデータ） (2023-06-16T02:41:31Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• A Unified Active Learning Framework for Annotating Graph Data with Application to Software Source Code Performance Prediction [4.572330678291241]
  ソフトウェアの性能予測を専門とする一貫したアクティブラーニングフレームワークを開発した。 能動的・受動的学習に異なるレベルの情報を用いることが与える影響について検討する。 我々のアプローチは、異なるソフトウェアパフォーマンス予測のためのAIモデルへの投資を改善することを目的としています。
  論文  参考訳（メタデータ） (2023-04-06T14:00:48Z)
• GRANITE: A Graph Neural Network Model for Basic Block Throughput Estimation [3.739243122393041]
  異なるマイクロアーキテクチャにわたる基本ブロックのスループットを推定する新しい機械学習モデルを導入する。 結果は、平均テスト誤差6.9%で、基本ブロック性能推定のための新しい最先端技術を確立する。 独立な多層フィードフォワードデコーダネットワークを用いたマルチタスク学習を提案する。
  論文  参考訳（メタデータ） (2022-10-08T03:03:49Z)
• Comparative Code Structure Analysis using Deep Learning for Performance Prediction [18.226950022938954]
  本稿では,アプリケーションの静的情報(抽象構文木やASTなど)を用いてコード構造の変化に基づいて性能変化を予測することの実現可能性を評価することを目的とする。 組込み学習手法の評価により,木系長短メモリ(LSTM)モデルでは,ソースコードの階層構造を利用して遅延表現を発見し,最大84%(個人的問題)と73%(複数の問題を含む組み合わせデータセット)の精度で性能変化を予測できることが示された。
  論文  参考訳（メタデータ） (2021-02-12T16:59:12Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。