論文の概要: GNN-Coder: Boosting Semantic Code Retrieval with Combined GNNs and Transformer

• arxiv url: http://arxiv.org/abs/2502.15202v1
• Date: Fri, 21 Feb 2025 04:29:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:25.166243
• Title: GNN-Coder: Boosting Semantic Code Retrieval with Combined GNNs and Transformer
• Title（参考訳）: GNN-Coder: GNNとTransformerを組み合わせたセマンティックコード検索を強化
• Authors: Yufan Ye, Pu Pang, Ting Zhang, Hua Huang,
• Abstract要約: 抽象構文木(AST)を利用するグラフニューラルネットワーク(GNN)に基づく新しいフレームワークであるGNN-Coderを紹介する。 GNN-Coderは、CSNデータセットのMRRが1%-10%改善され、CosQAデータセットのゼロショットパフォーマンスが20%向上するなど、検索パフォーマンスを著しく向上させる。
• 参考スコア（独自算出の注目度）: 15.991615273248804
• License:
• Abstract: Code retrieval is a crucial component in modern software development, particularly in large-scale projects. However, existing approaches relying on sequence-based models often fail to fully exploit the structural dependencies inherent in code, leading to suboptimal retrieval performance, particularly with structurally complex code fragments. In this paper, we introduce GNN-Coder, a novel framework based on Graph Neural Network (GNN) to utilize Abstract Syntax Tree (AST). We make the first attempt to study how GNN-integrated Transformer can promote the development of semantic retrieval tasks by capturing the structural and semantic features of code. We further propose an innovative graph pooling method tailored for AST, utilizing the number of child nodes as a key feature to highlight the intrinsic topological relationships within the AST. This design effectively integrates both sequential and hierarchical representations, enhancing the model's ability to capture code structure and semantics. Additionally, we introduce the Mean Angular Margin (MAM), a novel metric for quantifying the uniformity of code embedding distributions, providing a standardized measure of feature separability. The proposed method achieves a lower MAM, indicating a more discriminative feature representation. This underscores GNN-Coder's superior ability to distinguish between code snippets, thereby enhancing retrieval accuracy. Experimental results show that GNN-Coder significantly boosts retrieval performance, with a 1\%-10\% improvement in MRR on the CSN dataset, and a notable 20\% gain in zero-shot performance on the CosQA dataset.
• Abstract（参考訳）: コード検索は、特に大規模プロジェクトでは、現代のソフトウェア開発において重要なコンポーネントである。 しかし、配列ベースのモデルに依存する既存のアプローチは、コードに固有の構造的依存関係を完全に活用できないことが多く、特に構造的に複雑なコードフラグメントにおいて、最適以下の検索性能をもたらす。 本稿では,抽象構文木(AST)を利用するグラフニューラルネットワーク(GNN)に基づく新しいフレームワークであるGNN-Coderを紹介する。 我々は、GNN統合トランスフォーマーが、コードの構造的特徴と意味的特徴をキャプチャして意味検索タスクの開発を促進する方法について、最初の試みを行う。 さらに,子ノードの数を重要な特徴として利用して,AST内固有のトポロジ的関係を浮き彫りにして,ASTに適したグラフプーリング手法を提案する。 この設計は、シーケンシャルな表現と階層的な表現の両方を効果的に統合し、コード構造とセマンティクスをキャプチャするモデルの能力を高める。 さらに、コード埋め込み分布の均一性を定量化するための新しいメトリクスであるMean Angular Margin (MAM)を導入し、特徴分離の標準化された尺度を提供する。 提案手法は、より識別性の高い特徴表現を示す、より低いMAMを実現する。 これにより、GNN-Coderのコードスニペットの区別能力が向上し、検索精度が向上した。 実験の結果,CSNデータセットではMRRが1～10%向上し,CosQAデータセットでは0ショット性能が20～10%向上した。

関連論文リスト

• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  本稿では,リレーショナルデータベースの特徴を捉えた新しいGNNフレームワークであるRelGNNを紹介する。 我々のアプローチの核となるのは、高次三部構造を形成するノードの列である原子経路の導入である。 RelGNNは、最先端の精度を最大25%改善して一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• LightGNN: Simple Graph Neural Network for Recommendation [14.514770044236375]
  グラフニューラルネットワーク(GNN)は、協調的なレコメンデーションにおいて優れたパフォーマンスを示している。 既存のGNNパラダイムは、大規模でノイズの多い実世界のデータセットを扱う場合、スケーラビリティと堅牢性の課題に直面している。 軽量・蒸留方式のGNNプルーニングフレームワークであるLightGNNについて述べる。
  論文  参考訳（メタデータ） (2025-01-06T18:59:55Z)
• LASE: Learned Adjacency Spectral Embeddings [7.612218105739107]
  グラフ入力から結節隣接スペクトル埋め込み(ASE)を学習する。 LASEは解釈可能で、パラメータ効率が高く、未観測のエッジを持つ入力に対して堅牢である。 LASEレイヤは、Graph Convolutional Network (GCN)と完全に接続されたGraph Attention Network (GAT)モジュールを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-23T17:35:19Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• ReGVD: Revisiting Graph Neural Networks for Vulnerability Detection [20.65271290295621]
  本稿では,脆弱性検出のためのグラフネットワークモデルReGVDを提案する。 特にReGVDは、あるソースコードをフラットなトークンのシーケンスと見なしている。 我々は、脆弱性検出のためのCodeXGLUEから、実世界のベンチマークデータセット上で最も高い精度を得る。
  論文  参考訳（メタデータ） (2021-10-14T12:44:38Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Retrieval-Augmented Generation for Code Summarization via Hybrid GNN [23.445231228940738]
  両世界の利益を両立させる新しい検索強化機構を提案する。 ソースコードのグローバルなグラフ構造情報を取得する際のグラフニューラルネットワーク(GNN)の制限を軽減するために,新しい注目に基づく動的グラフを提案する。 提案手法は,既存の手法をBLEU-4,ROUGE-L,METEORで1.42,2.44,1.29改良し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-06-09T17:09:29Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。