Fugu-MT 論文翻訳(概要): Which Features are Learned by CodeBert: An Empirical Study of the BERT-based Source Code Representation Learning

論文の概要: Which Features are Learned by CodeBert: An Empirical Study of the BERT-based Source Code Representation Learning

arxiv url: http://arxiv.org/abs/2301.08427v2
Date: Thu, 10 Aug 2023 20:37:20 GMT
ステータス: 処理完了
システム内更新日: 2023-08-14 17:32:14.531034
Title: Which Features are Learned by CodeBert: An Empirical Study of the BERT-based Source Code Representation Learning
Title（参考訳）: CodeBertが学習する特徴 -BERTに基づくソースコード表現学習の実証的研究-
Authors: Lan Zhang, Chen Cao, Zhilong Wang and Peng Liu
Abstract要約: 提案手法は,ソースコードの論理を効果的に理解できないことを示す。ソースコードの表現は、プログラマが定義した変数と関数名に大きく依存している。
参考スコア（独自算出の注目度）: 9.469346910848733
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Bidirectional Encoder Representations from Transformers (BERT) were proposed in the natural language process (NLP) and shows promising results. Recently researchers applied the BERT to source-code representation learning and reported some good news on several downstream tasks. However, in this paper, we illustrated that current methods cannot effectively understand the logic of source codes. The representation of source code heavily relies on the programmer-defined variable and function names. We design and implement a set of experiments to demonstrate our conjecture and provide some insights for future works.
Abstract（参考訳）: トランスフォーマー (bert) からの双方向エンコーダ表現は自然言語処理 (nlp) で提案され, 有望な結果が得られた。最近、BERTをソースコード表現学習に適用し、いくつかの下流タスクについて良いニュースを報告した。しかし,本稿では,現在の手法ではソースコードの論理を効果的に理解できないことを示す。ソースコードの表現はプログラマが定義した変数と関数名に大きく依存する。我々は、予想を実証するために一連の実験を設計、実装し、将来の研究に対する洞察を提供する。

関連論文リスト

How Far Have We Gone in Stripped Binary Code Understanding Using Large Language Models [51.527805834378974]
バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
論文参考訳（メタデータ） (2024-04-15T14:44:08Z)
Enhancing Source Code Representations for Deep Learning with Static Analysis [10.222207222039048]
本稿では,静的解析とバグレポートやデザインパターンなどのコンテキストを,ディープラーニングモデルのためのソースコード表現に統合する方法について検討する。我々はASTNN(Abstract Syntax Tree-based Neural Network)法を用いて,バグレポートやデザインパターンから得られたコンテキスト情報を追加して拡張する。提案手法はソースコードの表現と処理を改善し,タスク性能を向上させる。
論文参考訳（メタデータ） (2024-02-14T20:17:04Z)
INSPECT: Intrinsic and Systematic Probing Evaluation for Code Transformers [7.255653248042546]
我々は、ソースコードの表面、構文、構造、意味的特性を訓練する15の探索タスクを定義するためにフレームワークを使用します。 8つの事前訓練されたソースコードモデルと、ベースラインとして自然言語モデル(BERT)を探索する。構造情報(GraphCodeBERTなど)を組み込んだモデルの方が,ソースコードの特徴をよりよく表現できることがわかった。
論文参考訳（メタデータ） (2023-12-08T15:21:54Z)
Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文参考訳（メタデータ） (2022-04-07T08:49:27Z)
An Exploratory Study on Code Attention in BERT [8.488193857572211]
コード上でのPLMの注意行動を調査し,それを自然言語と比較する。 BERT は NLP において最も注目されているトークンとは対照的に,特に識別子やセパレータといった構文上のエンティティに注意を払っている。この発見は、NLPで使われる一般的な埋め込みを使わずに、コード固有の表現を使用することで、研究コミュニティの恩恵を受けることができる。
論文参考訳（メタデータ） (2022-04-05T21:23:10Z)
Empirical Study of Transformers for Source Code [14.904366372190943]
本研究では,トランスフォーマーが様々なタスクで構文情報を利用する能力について検討する。我々は,トランスフォーマーが純粋に構文情報に基づいて意味のある予測を行うことができることを示す。
論文参考訳（メタデータ） (2020-10-15T19:09:15Z)
X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文参考訳（メタデータ） (2020-10-13T05:29:56Z)
A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文参考訳（メタデータ） (2020-05-01T23:29:36Z)
Incorporating External Knowledge through Pre-training for Natural Language to Code Generation [97.97049697457425]
オープンドメインコード生成は、自然言語(NL)の意図から汎用プログラミング言語でコードを生成することを目的としている。オンラインプログラミングQAフォーラムStackOverflowとプログラミング言語APIドキュメントからNL-codeペアを自動的にマイニングする。評価の結果,2つのソースとデータ拡張と検索ベースデータ再サンプリングを組み合わせることで,コード生成テストベッドCoNaLa上でのBLEUスコアが最大2.2%向上することがわかった。
論文参考訳（メタデータ） (2020-04-20T01:45:27Z)
CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
論文参考訳（メタデータ） (2020-02-19T13:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。