論文の概要: Towards Understanding the Capability of Large Language Models on Code
Clone Detection: A Survey
- arxiv url: http://arxiv.org/abs/2308.01191v3
- Date: Sun, 6 Aug 2023 01:40:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 15:28:58.986368
- Title: Towards Understanding the Capability of Large Language Models on Code
Clone Detection: A Survey
- Title(参考訳): コードクローン検出における大規模言語モデルの能力理解に向けた調査
- Authors: Shihan Dou, Junjie Shan, Haoxiang Jia, Wenhao Deng, Zhiheng Xi, Wei
He, Yueming Wu, Tao Gui, Yang Liu, Xuanjing Huang
- Abstract要約: 大規模言語モデル(LLM)は、様々なコード関連の知識を持ち、様々なソフトウェア工学の課題に対して汎用的である。
本稿では,クローン検出のためのLLMを包括的に評価し,異なるクローンタイプ,言語,プロンプトを網羅する。
従来の手法を超越した複雑な意味的クローンの検出において,高度なLCMが優れていることがわかった。
- 参考スコア(独自算出の注目度): 40.99060616674878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code cloning, the duplication of code fragments, is common in software
development. While some reuse aids productivity, excessive cloning hurts
maintainability and introduces bugs. Hence, automatic code clone detection is
vital. Meanwhile, large language models (LLMs) possess diverse code-related
knowledge, making them versatile for various software engineering challenges.
However, LLMs' performance in code clone detection is unclear and needs more
study for accurate assessment. In this paper, we provide the first
comprehensive evaluation of LLMs for clone detection, covering different clone
types, languages, and prompts. We find advanced LLMs excel in detecting complex
semantic clones, surpassing existing methods. Adding intermediate reasoning
steps via chain-of-thought prompts noticeably enhances performance.
Additionally, representing code as vector embeddings, especially with text
encoders, effectively aids clone detection.Lastly, the ability of LLMs to
detect code clones differs among various programming languages. Our study
suggests that LLMs have potential for clone detection due to their language
capabilities, offering insights for developing robust LLM-based methods to
enhance software engineering.
- Abstract(参考訳): コードのクローン(コードフラグメントの重複)はソフトウェア開発で一般的である。
一部の再利用は生産性を補助するが、過剰なクローン化は保守性を傷つけ、バグをもたらす。
したがって、自動コードクローン検出が不可欠である。
一方、大規模言語モデル(LLM)は、様々なコード関連の知識を持ち、様々なソフトウェア工学の課題に対して汎用的である。
しかし、コードクローン検出におけるLLMの性能は不明確であり、正確な評価のためのさらなる研究が必要である。
本稿では,クローン検出のためのLLMの包括的評価を行い,異なるクローンタイプ,言語,プロンプトについて述べる。
高度なllmは複雑なセマンティクスクローンの検出に優れており、既存の手法を上回っています。
チェーン・オブ・シークレットによる中間推論ステップの追加は、パフォーマンスを著しく向上させる。
さらに、特にテキストエンコーダによるベクトル埋め込みとしてコードを表現することは、クローン検出を効果的に支援するが、LLMがコードクローンを検出する能力は、様々なプログラミング言語で異なる。
本研究は,LLMが言語能力からクローン検出の可能性を示唆し,ソフトウェア工学を向上する堅牢なLCM手法を開発するための洞察を提供する。
関連論文リスト
- Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [69.99031792995348]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳(メタデータ) (2024-01-18T15:32:24Z) - Mutation-based Consistency Testing for Evaluating the Code Understanding
Capability of LLMs [5.549095839198671]
大きな言語モデル(LLM)は、自然言語とプログラミング言語の両方を処理する際、顕著な能力を示している。
本稿では,LLMのコード理解性能を評価する新しい手法を提案し,特にコードと記述の微妙な差異に着目した。
演算子置換やステートメント削除など,さまざまなタイプのコード突然変異を適用して,一貫性のないコード記述ペアを生成する。
我々は,現在最先端のコード生成ベンチマークであるHumanEval-Xを用いて,GPT-3.5とGPT-4の2つのLLMのケーススタディを行う。
論文 参考訳(メタデータ) (2024-01-11T14:27:43Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual
Adaptation for Code Clone Detection [69.79627042058048]
AdaCCDは、その言語でアノテーションを使わずに、新しい言語のクローンコードを検出する新しい言語間適応手法である。
5つのプログラミング言語からなる多言語コードクローン検出ベンチマークを構築し,AdaCCDの言語間適応性を評価する。
論文 参考訳(メタデータ) (2023-11-13T12:20:48Z) - Testing LLMs on Code Generation with Varying Levels of Prompt
Specificity [0.0]
大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。
自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
論文 参考訳(メタデータ) (2023-11-10T23:41:41Z) - Test-Case-Driven Programming Understanding in Large Language Models for
Better Code Generation [15.166827643436346]
muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。
まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。
muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
論文 参考訳(メタデータ) (2023-09-28T02:58:07Z) - CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。
汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。
特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
論文 参考訳(メタデータ) (2023-06-05T20:39:08Z) - Evaluation of Contrastive Learning with Various Code Representations for
Code Clone Detection [3.699097874146491]
コードスニペットの意味的クローンを検出するためのコントラスト学習の評価を行った。
CodeTransformatorを使って、競争力のあるプログラミングソリューションに基づいて、プラジャライズされたコードを模倣するデータセットを作成します。
評価の結果,提案手法は各タスクにおいて多種多様な性能を示すが,グラフベースモデルの性能は概して他のモデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-06-17T12:25:44Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。