論文の概要: Investigating Efficacy of Perplexity in Detecting LLM-Generated Code

• arxiv url: http://arxiv.org/abs/2412.16525v1
• Date: Sat, 21 Dec 2024 08:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:51.316468
• Title: Investigating Efficacy of Perplexity in Detecting LLM-Generated Code
• Title（参考訳）: LLM生成符号検出におけるパープレキシティの有効性の検討
• Authors: Jinwei Xu, He Zhang, Yanjin Yang, Zeru Cheng, Jun Lyu, Bohan Liu, Xin Zhou, Lanxin Yang, Alberto Bacchelli, Yin Kia Chiam, Thiam Kian Chiew,
• Abstract要約: 大規模言語モデル生成コード(LLMgCode)は、人為的なコード(HaCode)よりも品質とセキュリティ上の問題が多い。 LLMgCodeは、コードの変更でHaCodeと混同されることが一般的だが、変更は、慎重にチェックすることなく、人間開発者のみによって署名される。
• 参考スコア（独自算出の注目度）: 12.300796632902006
• License:
• Abstract: Large language model-generated code (LLMgCode) has become increasingly prevalent in software development. Many studies report that LLMgCode has more quality and security issues than human-authored code (HaCode). It is common for LLMgCode to mix with HaCode in a code change, while the change is signed by only human developers, without being carefully checked. Many automated methods have been proposed to detect LLMgCode from HaCode, in which the perplexity-based method (PERPLEXITY for short) is the state-of-the-art method. However, the efficacy evaluation of PERPLEXITY has focused on the detection accuracy. In this article, we are interested in whether PERPLEXITY is good enough in a wider range of realistic evaluation settings. To this end, we devise a large-scale dataset that includes 11,664 HaCode snippets and 13,164 LLMgCode snippets, and based on that, we carry out a family of experiments to compare PERPLEXITY against feature-based and pre-training-based methods from three perspectives: (1) detection accuracy in terms of programming language, degree of difficulty, and scale of solution, (2) generalization capability, and (3) inference efficiency. The experimental results show that PERPLEXITY has the best generalization capability while it has low accuracy and efficiency in most cases. Based on the experimental results and detection mechanism of PERPLEXITY, we discuss implications into both the strengths and limitations of PERPLEXITY, e.g., PERPLEXITY is unsuitable for high-level programming languages while it has good interpretability. As the first large-scale investigation on detecting LLMgCode from HaCode, this article provides a wide range of evidence for future improvement.
• Abstract（参考訳）: 大規模言語モデル生成コード(LLMgCode)は、ソフトウェア開発でますます普及している。 多くの研究が、LLMgCodeは人為的なコード(HaCode)よりも品質とセキュリティの問題を抱えていると報告している。 LLMgCodeは、コードの変更でHaCodeと混同されることが一般的だが、変更は、慎重にチェックすることなく、人間開発者のみによって署名される。 HaCodeからLLMgCodeを検出するための多くの自動手法が提案されている。 しかし,PERPLEXITYの有効性は検出精度に焦点が当てられている。 本稿では,より広い範囲の現実的な評価設定においてPERPLEXITYが十分であるかどうかを考察する。 この目的のために,11,664個のHaCodeスニペットと13,164個のLLMgCodeスニペットを含む大規模データセットを考案し,それに基づいて,(1)プログラミング言語の精度,難易度,解のスケール,(2)一般化能力,(3)推論効率の3つの視点からPERPLEXITYと特徴ベースおよび事前学習ベースのメソッドを比較した。 実験の結果,PERPLEXITYは最も高い一般化能力を持つ一方,ほとんどの場合,精度と効率が低いことがわかった。 PERPLEXITYの実験結果と検出機構に基づいて,PERPLEXITYの強みと限界について考察する。 HaCodeからLLMgCodeを検出するための最初の大規模な調査として、この記事は将来の改善の幅広い証拠を提供する。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
  本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。 OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。 我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
  論文  参考訳（メタデータ） (2024-10-09T08:23:22Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding [64.00025564372095]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。 単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
  論文  参考訳（メタデータ） (2024-09-09T02:07:41Z)
• Impact of Large Language Models of Code on Fault Localization [2.936007114555107]
  本稿では,FLタスクのための大規模言語モデルの微調整のための,単純だが効果的なシーケンス生成手法を提案する。 具体的には、FLタスク用の代表エンコーダ、エンコーダデコーダ、デコーダベースの13のLLMCを微調整する。 実験結果から, LLMCは50.6%, 64.2%, 72.3%の誤差位置を検出できた。
  論文  参考訳（メタデータ） (2024-08-19T02:36:07Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。 以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• Between Lines of Code: Unraveling the Distinct Patterns of Machine and Human Programmers [14.018844722021896]
  機械および人為的なコードの特徴を特徴付ける特定のパターンについて検討する。 本研究では,機械生成コード検出のための新しい手法であるTectCodeGPTを提案する。
  論文  参考訳（メタデータ） (2024-01-12T09:15:20Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• Code Detection for Hardware Acceleration Using Large Language Models [0.0]
  本研究は,大規模言語モデル(LLM)を用いたコード検出の最初の解析である。 コード検出のための予備的かつ素直なプロンプトと,新しいプロンプト戦略を提案する。 その結果, GEMM, 畳み込み, FFTでは68.8%, 22.3%, 79.2%の精度が得られた。 我々の新たなプロンプト戦略は偽陽性を大幅に減らし, 総合的精度(91.1%, 97.9%, 99.7%)は良好である。
  論文  参考訳（メタデータ） (2023-07-19T17:21:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。