論文の概要: Learning Deep Semantic Model for Code Search using CodeSearchNet Corpus
- arxiv url: http://arxiv.org/abs/2201.11313v1
- Date: Thu, 27 Jan 2022 04:15:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 15:01:00.265220
- Title: Learning Deep Semantic Model for Code Search using CodeSearchNet Corpus
- Title（参考訳）: CodeSearchNet Corpusを用いたコード検索のための深部意味モデル学習
- Authors: Chen Wu and Ming Yan
- Abstract要約: マルチモーダル・ソースのユーティリティを利用する新しいディープ・セマンティック・モデルを提案する。
提案したモデルを適用して,意味的コード検索に関するCodeSearchNetの課題に対処する。
我々のモデルはCodeSearchNetコーパスでトレーニングされ、ホールドアウトデータに基づいて評価され、最終モデルは0.384 NDCGに達し、このベンチマークで優勝した。
- 参考スコア（独自算出の注目度）: 17.6095840480926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic code search is the task of retrieving relevant code snippet given a
natural language query. Different from typical information retrieval tasks,
code search requires to bridge the semantic gap between the programming
language and natural language, for better describing intrinsic concepts and
semantics. Recently, deep neural network for code search has been a hot
research topic. Typical methods for neural code search first represent the code
snippet and query text as separate embeddings, and then use vector distance
(e.g. dot-product or cosine) to calculate the semantic similarity between them.
There exist many different ways for aggregating the variable length of code or
query tokens into a learnable embedding, including bi-encoder, cross-encoder,
and poly-encoder. The goal of the query encoder and code encoder is to produce
embeddings that are close with each other for a related pair of query and the
corresponding desired code snippet, in which the choice and design of encoder
is very significant.
In this paper, we propose a novel deep semantic model which makes use of the
utilities of not only the multi-modal sources, but also feature extractors such
as self-attention, the aggregated vectors, combination of the intermediate
representations. We apply the proposed model to tackle the CodeSearchNet
challenge about semantic code search. We align cross-lingual embedding for
multi-modality learning with large batches and hard example mining, and combine
different learned representations for better enhancing the representation
learning. Our model is trained on CodeSearchNet corpus and evaluated on the
held-out data, the final model achieves 0.384 NDCG and won the first place in
this benchmark. Models and code are available at
https://github.com/overwindows/SemanticCodeSearch.git.
- Abstract（参考訳）: セマンティックコード検索は、自然言語クエリによって関連するコードスニペットを取得するタスクである。
典型的な情報検索タスクとは違って、コード検索は言語と自然言語のセマンティックなギャップを埋め、本質的な概念と意味論をよりよく記述する必要がある。
近年,コード検索のためのディープニューラルネットワークがホットな研究トピックとなっている。
ニューラルコード検索の典型的な方法は、まずコードスニペットとクエリテキストを別々の埋め込みとして表現し、次にベクトル距離(ドット製品やコサインなど)を使用してそれらの意味的類似度を計算する。
バイエンコーダ、クロスエンコーダ、ポリエンコーダなど、コードの可変長やクエリトークンを学習可能な埋め込みに集約する方法には、さまざまなものがある。
クエリエンコーダとコードエンコーダの目標は、関連するクエリペアと対応する所望のコードスニペットに対して互いに近接した埋め込みを生成し、エンコーダの選択と設計が非常に重要であることである。
本稿では,マルチモーダル音源の効用を利用するだけでなく,自己アテンション,集約ベクトル,中間表現の組み合わせといった特徴抽出器も活用した,新しい深層意味モデルを提案する。
提案したモデルを用いて,意味コード検索に関するCodeSearchNetの課題に取り組む。
マルチモーダル学習のための言語間埋め込みを,大規模バッチやハードサンプルマイニングと整合させ,異なる学習表現を組み合わせることで,表現学習の向上を図る。
我々のモデルはCodeSearchNetコーパスでトレーニングされ、保持データに基づいて評価され、最終モデルは0.384 NDCGに達し、このベンチマークで優勝した。
モデルとコードはhttps://github.com/overwindows/semanticcodesearch.gitで入手できる。
関連論文リスト
- SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code
Summarization [51.67317895094664]
本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。
長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
論文 参考訳（メタデータ） (2024-01-26T09:23:27Z) - Survey of Code Search Based on Deep Learning [11.94599964179766]
この調査は、コード検索、すなわち、あるクエリにマッチするコードを取得することに焦点を当てている。
複雑な意味情報を抽出できるディープラーニングは、この分野で大きな成功を収めている。
本稿では,最先端のディープラーニングに基づくコード検索を記述した新しい分類法を提案する。
論文 参考訳（メタデータ） (2023-05-10T08:07:04Z) - Generation-Augmented Query Expansion For Code Retrieval [51.20943646688115]
本稿では,次世代のクエリ拡張フレームワークを提案する。
人間の検索プロセスにインスパイアされた – 検索前に回答をスケッチする。
CodeSearchNetベンチマークで、最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2022-12-20T23:49:37Z) - Enhancing Semantic Code Search with Multimodal Contrastive Learning and
Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。
我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-04-07T08:49:27Z) - CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。
ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。
バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
論文 参考訳（メタデータ） (2022-01-26T10:54:30Z) - Multimodal Representation for Neural Code Search [18.371048875103497]
本稿では,AST の簡易な形式でツリーシリアライズ手法を導入し,コードデータのマルチモーダル表現を構築する。
この結果から,木をシリアライズした表現とマルチモーダル学習モデルの両方がニューラルコード検索の性能を向上させることがわかった。
論文 参考訳（メタデータ） (2021-07-02T12:08:19Z) - BERT2Code: Can Pretrained Language Models be Leveraged for Code Search? [0.7953229555481884]
我々は,本モデルが埋め込み空間と改良のスコープに対するさらなるプローブの間に固有の関係を学習することを示す。
本稿では,コード埋め込みモデルの品質が,我々のモデルの性能のボトルネックであることを示す。
論文 参考訳（メタデータ） (2021-04-16T10:28:27Z) - Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。
まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。
特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
論文 参考訳（メタデータ） (2020-10-24T14:16:50Z) - COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。
COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
論文 参考訳（メタデータ） (2020-10-19T13:53:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。