論文の概要: Empirical Study on Transformer-based Techniques for Software Engineering
- arxiv url: http://arxiv.org/abs/2310.00399v1
- Date: Sat, 30 Sep 2023 14:45:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 05:26:43.064237
- Title: Empirical Study on Transformer-based Techniques for Software Engineering
- Title（参考訳）: ソフトウェア工学におけるトランスフォーマー技術に関する実証的研究
- Authors: Yan Xiao, Xinyue Zuo, Lei Xue, Kailong Wang, Jin Song Dong and Ivan
Beschastnikh
- Abstract要約: 既存の文献をレビューし、異なるタスクに対するモデルアーキテクチャの適合性について検討し、異なるデータセット上でのモデルの一般化能力について考察する。
文献調査で確認した,最もターゲットにされたソフトウェアエンジニアリングタスクのトップ4 – コードの要約,バグ修正,バグ検出,コード検索 – に対して,実験を実施しています。
- 参考スコア（独自算出の注目度）: 12.973997150227198
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Many Transformer-based pre-trained models for code have been developed and
applied to code-related tasks. In this paper, we review the existing
literature, examine the suitability of model architectures for different tasks,
and look at the generalization ability of models on different datasets, and
their resource consumption.
We examine three very representative pre-trained models for code: CodeBERT,
CodeGPT, and CodeT5, and conduct experiments on the top-4 most targeted
software engineering tasks that we found in our literature survey: Code
Summarization, Bug Fixing, Bug Detection, and Code Search. In our study, we
showcase the capability of decoder-only models (CodeGPT) for specific
generation tasks under state-of-the-art evaluation metrics and contest the
common belief that the encoder-decoder architecture is optimal for
general-purpose coding tasks. Additionally, we found that the most frequently
used models are not necessarily the most suitable for certain applications and
the developers' needs are not adequately addressed by current research. As
well, we found that the benchmark and frequent dataset for Bug Fixing and Code
Summarization both fail to enable models to generalize onto other datasets for
the same task (the frequent dataset refers to the dataset with the highest
frequency used in literature other than the benchmark). We use statistical
testing to support our conclusions from experiments. Finally, CodeBERT is
highly efficient for understanding tasks, whereas CodeT5's efficiency for
generation tasks is in doubt, as the highest resource consumption does not
guarantee a consistent better performance on different metrics. We also discuss
the numerous practical issues in advancing future research on transformer-based
models for code-related tasks.
- Abstract（参考訳）: コードのためのトランスフォーマーベースの事前訓練モデルが開発され、コード関連のタスクに適用されている。
本稿では,既存の文献を概観し,異なるタスクに対するモデルアーキテクチャの適合性を調べ,異なるデータセット上のモデルの一般化能力とリソース消費について考察する。
CodeBERT(リンク)、CodeGPT(リンク)、CodeT5(リンク)の3つの非常に代表的な事前訓練済みモデルを検証し、私たちの文献調査で見つかった最もターゲットにされたソフトウェアエンジニアリングタスクのトップ4(リンク)で実験を行います。
本研究では、最先端評価指標に基づく特定の生成タスクに対するデコーダのみのモデル(CodeGPT)の能力を示し、エンコーダ-デコーダアーキテクチャが汎用符号化タスクに最適であるという共通の信念に異議を唱える。
さらに、最も頻繁に使用されるモデルは、必ずしも特定のアプリケーションに適したものではなく、開発者のニーズが現在の研究で適切に対処されていないことも分かりました。
また、Bug FixingとCode Summarizationのベンチマークと頻繁なデータセットはどちらも、同じタスクのために他のデータセットにモデルを一般化することができない(頻繁なデータセットは、ベンチマーク以外の文献で使用される最も高い頻度のデータセットを指す)。
統計的テストを使って実験の結果を支援します。
最後に、codebertはタスクを理解するのに非常に効率的であるが、最も高いリソース消費では異なるメトリクスで一貫したパフォーマンスが保証されないため、生成タスクに対するcodet5の効率は疑わしい。
また,コード関連タスクに対するトランスフォーマーモデルの研究を推し進める上での多くの実践的課題についても論じる。
関連論文リスト
- CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。
我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。
私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文 参考訳（メタデータ） (2024-11-19T16:54:45Z) - OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳（メタデータ） (2024-11-07T17:47:25Z) - DA-Code: Agent Data Science Code Generation Benchmark for Large Language Models [36.266383541354294]
まず、DA-Code内のタスクは本質的に困難で、従来のコード生成タスクとは分離されています。
次に、DA-Codeの例は、すべて実データと多種多様なデータに基づいており、幅広い複雑なデータラングリングと分析タスクをカバーしている。
第三に、これらの課題を解決するためには、複雑なデータサイエンスプログラミング言語を使用し、複雑なデータ処理を実行し、答えを導出する必要がある。
論文 参考訳（メタデータ） (2024-10-09T18:00:05Z) - INSPECT: Intrinsic and Systematic Probing Evaluation for Code
Transformers [7.255653248042546]
我々は、ソースコードの表面、構文、構造、意味的特性を訓練する15の探索タスクを定義するためにフレームワークを使用します。
8つの事前訓練されたソースコードモデルと、ベースラインとして自然言語モデル(BERT)を探索する。
構造情報(GraphCodeBERTなど)を組み込んだモデルの方が,ソースコードの特徴をよりよく表現できることがわかった。
論文 参考訳（メタデータ） (2023-12-08T15:21:54Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳（メタデータ） (2023-11-25T02:45:50Z) - CodeExp: Explanatory Code Document Generation [94.43677536210465]
既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。
我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。
タスクのための多段階微調整戦略とベースラインモデルを提案する。
論文 参考訳（メタデータ） (2022-11-25T18:05:44Z) - Enhancing Semantic Code Search with Multimodal Contrastive Learning and
Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。
我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-04-07T08:49:27Z) - Probing Pretrained Models of Source Code [14.904366372190943]
一般的な事前学習モデルは、多くのアプリケーションにおいてタスク固有のモデルよりも優れていることが示されている。
事前訓練されたコードのモデルには、コード構文構造と正当性、識別子の概念、データフローと正当性、自然言語の命名に関する情報が含まれている。
論文 参考訳（メタデータ） (2022-02-16T10:26:14Z) - What do pre-trained code models know about code? [9.60966128833701]
事前に訓練されたコードモデルを調べるために、プローブと呼ばれる診断タスクを使用します。
BERT(英語で事前学習)、CodeBERT(ソースコードで事前学習)、CodeBERTa(自然言語で事前学習)、GraphCodeBERT(データフローでソースコードで事前学習)について検討した。
論文 参考訳（メタデータ） (2021-08-25T16:20:17Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳（メタデータ） (2021-05-27T13:51:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。