論文の概要: Beyond Natural Language Perplexity: Detecting Dead Code Poisoning in Code Generation Datasets
- arxiv url: http://arxiv.org/abs/2502.20246v2
- Date: Fri, 28 Feb 2025 08:39:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:42:43.865794
- Title: Beyond Natural Language Perplexity: Detecting Dead Code Poisoning in Code Generation Datasets
- Title（参考訳）: 自然言語の複雑さを超えて - コード生成データセットにおけるデッドコードポジショニングの検出
- Authors: Chi-Chien Tsai, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee,
- Abstract要約: 本稿では,コードの構造に合わせた新しいラインレベルの検出とクリーン化手法であるDePAを提案する。
DePAは既存の方法よりも優れており、検出F1スコアが0.14-0.19向上し、有毒セグメントの局在精度が44-65%向上した。
- 参考スコア（独自算出の注目度）: 8.977790462534152
- License:
- Abstract: The increasing adoption of large language models (LLMs) for code-related tasks has raised concerns about the security of their training datasets. One critical threat is dead code poisoning, where syntactically valid but functionally redundant code is injected into training data to manipulate model behavior. Such attacks can degrade the performance of neural code search systems, leading to biased or insecure code suggestions. Existing detection methods, such as token-level perplexity analysis, fail to effectively identify dead code due to the structural and contextual characteristics of programming languages. In this paper, we propose DePA (Dead Code Perplexity Analysis), a novel line-level detection and cleansing method tailored to the structural properties of code. DePA computes line-level perplexity by leveraging the contextual relationships between code lines and identifies anomalous lines by comparing their perplexity to the overall distribution within the file. Our experiments on benchmark datasets demonstrate that DePA significantly outperforms existing methods, achieving 0.14-0.19 improvement in detection F1-score and a 44-65% increase in poisoned segment localization precision. Furthermore, DePA enhances detection speed by 0.62-23x, making it practical for large-scale dataset cleansing. Overall, by addressing the unique challenges of dead code poisoning, DePA provides a robust and efficient solution for safeguarding the integrity of code generation model training datasets.
- Abstract（参考訳）: コード関連タスクに対する大規模言語モデル(LLM)の採用が増加し、トレーニングデータセットのセキュリティに対する懸念が高まっている。
致命的な脅威はデッドコード中毒(dead code poisoning)であり、モデル動作を操作するためのトレーニングデータに、構文的に有効だが機能的に冗長なコードが注入される。
このような攻撃は、ニューラルネットワークサーチシステムの性能を低下させ、バイアスや安全性の低いコード提案につながる可能性がある。
トークンレベルのパープレキシティ分析のような既存の検出方法は、プログラミング言語の構造的および文脈的特性のため、デッドコードを効果的に識別できない。
本稿では,コードの構造に合わせた新しいラインレベルの検出とクリーン化手法であるDePA(Dead Code Perplexity Analysis)を提案する。
DePAは、行間のコンテキスト的関係を利用して行レベルのパープレキシティを計算し、ファイル内の全体分布と比較することにより、異常な行を識別する。
ベンチマークデータを用いた実験により,DePAは検出精度が0.14～0.19向上し,44～65%の精度で検出精度が向上した。
さらに、DePAは検出速度を0.62-23x向上させ、大規模なデータセットのクリーニングに有効である。
全体として、デッドコード中毒のユニークな課題に対処することによって、コード生成モデルトレーニングデータセットの完全性を保護するための堅牢で効率的なソリューションを提供する。
関連論文リスト
- Impact of Code Transformation on Detection of Smart Contract Vulnerabilities [0.0]
本稿では,スマートコントラクト脆弱性データセットの量と品質を改善する方法を提案する。
このアプローチは、セマンティックな意味を変えることなくソースコード構造を変更するテクニックである、セマンティックな保存コード変換を中心に展開されている。
改善された結果によると、新たに生成された脆弱性の多くはツールをバイパスでき、偽報告率は最大100%になる。
論文 参考訳（メタデータ） (2024-10-29T03:08:25Z) - Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。
混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。
UE識別のための反復フィルタリング手法を提案する。
論文 参考訳（メタデータ） (2024-08-15T13:26:13Z) - Automated Software Vulnerability Static Code Analysis Using Generative Pre-Trained Transformer Models [0.8192907805418583]
生成事前学習トランスフォーマーモデルは、様々な自然言語処理タスクにおいて驚くほど効果的であることが示されている。
我々は,脆弱なコード構文の存在を自動的に識別するタスクにおいて,オープンソースのGPTモデルの有効性を評価する。
論文 参考訳（メタデータ） (2024-07-31T23:33:26Z) - DeVAIC: A Tool for Security Assessment of AI-generated Code [5.383910843560784]
DeVAIC (Detection of Vulnerabilities in AI Generated Code)は、AI生成のPythonコードのセキュリティを評価するツールである。
論文 参考訳（メタデータ） (2024-04-11T08:27:23Z) - Vulnerability Detection with Code Language Models: How Far Are We? [40.455600722638906]
PrimeVulは、脆弱性検出のためのコードLMのトレーニングと評価のための新しいデータセットである。
これは、人間の検証されたベンチマークに匹敵するラベルの精度を達成する、新しいデータラベリング技術を含んでいる。
また、厳密なデータ重複解消戦略と時系列データ分割戦略を実装して、データの漏洩問題を軽減している。
論文 参考訳（メタデータ） (2024-03-27T14:34:29Z) - FoC: Figure out the Cryptographic Functions in Stripped Binaries with LLMs [54.27040631527217]
削除されたバイナリの暗号関数を抽出するFoCと呼ばれる新しいフレームワークを提案する。
まず、自然言語における暗号関数のセマンティクスを要約するために、バイナリ大言語モデル(FoC-BinLLM)を構築した。
次に、FoC-BinLLM上にバイナリコード類似モデル(FoC-Sim)を構築し、変更に敏感な表現を作成し、データベース内の未知の暗号関数の類似実装を検索する。
論文 参考訳（メタデータ） (2024-03-27T09:45:33Z) - Between Lines of Code: Unraveling the Distinct Patterns of Machine and Human Programmers [14.018844722021896]
機械および人為的なコードの特徴を特徴付ける特定のパターンについて検討する。
本研究では,機械生成コード検出のための新しい手法であるTectCodeGPTを提案する。
論文 参考訳（メタデータ） (2024-01-12T09:15:20Z) - Token-Level Adversarial Prompt Detection Based on Perplexity Measures
and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。
この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。
トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-20T03:17:21Z) - Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳（メタデータ） (2023-10-08T10:08:21Z) - Software Vulnerability Detection via Deep Learning over Disaggregated
Code Graph Representation [57.92972327649165]
この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。
コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
論文 参考訳（メタデータ） (2021-09-07T21:24:36Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳（メタデータ） (2020-12-02T15:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。