論文の概要: Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study

• arxiv url: http://arxiv.org/abs/2304.12269v1
• Date: Mon, 24 Apr 2023 17:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 14:08:13.770948
• Title: Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study
• Title（参考訳）: コード補完モデルのための文脈データによるソースコードの拡張:実証的研究
• Authors: Tim van Dam, Maliheh Izadi, Arie van Deursen
• Abstract要約: コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。 コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
• 参考スコア（独自算出の注目度）: 4.438873396405334
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer-based pre-trained models have recently achieved great results in solving many software engineering tasks including automatic code completion which is a staple in a developer's toolkit. While many have striven to improve the code-understanding abilities of such models, the opposite -- making the code easier to understand -- has not been properly investigated. In this study, we aim to answer whether making code easier to understand through using contextual data improves the performance of pre-trained code language models for the task of code completion. We consider type annotations and comments as two common forms of additional contextual information that often help developers understand code better. For the experiments, we study code completion in two granularity levels; token and line completion and take three recent and large-scale language models for source code: UniXcoder, CodeGPT, and InCoder with five evaluation metrics. Finally, we perform the Wilcoxon Signed Rank test to gauge significance and measure the effect size. Contrary to our expectations, all models perform better if type annotations are removed (albeit the effect sizes are small). For comments, we find that the models perform better in the presence of multi-line comments (again with small effect sizes). Based on our observations, we recommend making proper design choices when training, fine-tuning, or simply selecting such models given the intended data and application. Better evaluations and multi-modal techniques can also be further investigated to improve the practicality and accuracy of auto-completions.
• Abstract（参考訳）: トランスフォーマティブベースの事前学習モデルは最近、開発者ツールキットの主力である自動コード補完を含む、多くのソフトウェアエンジニアリングタスクの解決で大きな成果を上げている。 多くの人はそのようなモデルのコード理解能力を改善する努力をしてきたが、その逆 -- 理解しやすくする -- は適切に調査されていない。 本研究では,コンテクストデータを用いてコードを理解しやすくすることで,事前学習したコード言語モデルの性能が向上するか否かを問う。 型アノテーションとコメントは、開発者がよりよくコードを理解するのに役立つ2つの一般的なコンテキスト情報であると考えています。 実験では,トークンと行補完という2つの粒度のコード補完について検討し,UniXcoder,CodeGPT,InCoderの3つの最近の大規模言語モデルと5つの評価指標を用いた。 最後にWilcoxon Signed Rank testを実行し、重要度を測定し、効果の大きさを測定する。 期待に反して、型アノテーションが削除された場合(効果のサイズは小さいが)、すべてのモデルはより良く機能します。 コメントについては、モデルがマルチラインコメント(効果サイズが小さい場合)の存在下でパフォーマンスがよいことが分かりました。 当社の観察に基づいて、トレーニングや微調整、あるいは意図したデータやアプリケーションからモデルを選択する場合に、適切な設計上の選択を行うことを推奨します。 さらに, 自動補完の実用性や精度を向上させるために, より良い評価やマルチモーダル手法も検討できる。

関連論文リスト

• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• Code Representation Learning At Scale [75.04686476303436]
  2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。 まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。 そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
  論文  参考訳（メタデータ） (2024-02-02T22:19:15Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)
• What do pre-trained code models know about code? [9.60966128833701]
  事前に訓練されたコードモデルを調べるために、プローブと呼ばれる診断タスクを使用します。 BERT(英語で事前学習)、CodeBERT(ソースコードで事前学習)、CodeBERTa(自然言語で事前学習)、GraphCodeBERT(データフローでソースコードで事前学習)について検討した。
  論文  参考訳（メタデータ） (2021-08-25T16:20:17Z)
• Towards Full-line Code Completion with Neural Language Models [25.458883198815393]
  単一トークンではなく,コード行全体を直接完了する可能性について論じる。 最近のニューラルネットワークモデルは、コード補完の好ましいアプローチとして採用されている。
  論文  参考訳（メタデータ） (2020-09-18T03:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。