論文の概要: Poison Attack and Defense on Deep Source Code Processing Models

• arxiv url: http://arxiv.org/abs/2210.17029v1
• Date: Mon, 31 Oct 2022 03:06:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 18:40:01.193467
• Title: Poison Attack and Defense on Deep Source Code Processing Models
• Title（参考訳）: 深部ソースコード処理モデルにおける毒物攻撃と防御
• Authors: Jia Li, Zhuo Li, Huangzhao Zhang, Ge Li, Zhi Jin, Xing Hu, Xin Xia
• Abstract要約: 我々は、CodePoisonerという名前のソースコードに対して、強力な想像上の敵として毒攻撃フレームワークを提示する。 CodePoisonerは、人間の知覚できない毒のサンプルをコンパイルして、トレーニングデータに毒を加えて攻撃する。 トレーニングデータ中の毒サンプルを検出するために,CodeDetectorという効果的な防御手法を提案する。
• 参考スコア（独自算出の注目度）: 38.32413592143839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the software engineering community, deep learning (DL) has recently been applied to many source code processing tasks. Due to the poor interpretability of DL models, their security vulnerabilities require scrutiny. Recently, researchers have identified an emergent security threat, namely poison attack. The attackers aim to inject insidious backdoors into models by poisoning the training data with poison samples. Poisoned models work normally with clean inputs but produce targeted erroneous results with poisoned inputs embedded with triggers. By activating backdoors, attackers can manipulate the poisoned models in security-related scenarios. To verify the vulnerability of existing deep source code processing models to the poison attack, we present a poison attack framework for source code named CodePoisoner as a strong imaginary enemy. CodePoisoner can produce compilable even human-imperceptible poison samples and attack models by poisoning the training data with poison samples. To defend against the poison attack, we further propose an effective defense approach named CodeDetector to detect poison samples in the training data. CodeDetector can be applied to many model architectures and effectively defend against multiple poison attack approaches. We apply our CodePoisoner and CodeDetector to three tasks, including defect detection, clone detection, and code repair. The results show that (1) CodePoisoner achieves a high attack success rate (max: 100%) in misleading models to targeted erroneous behaviors. It validates that existing deep source code processing models have a strong vulnerability to the poison attack. (2) CodeDetector effectively defends against multiple poison attack approaches by detecting (max: 100%) poison samples in the training data. We hope this work can help practitioners notice the poison attack and inspire the design of more advanced defense techniques.
• Abstract（参考訳）: ソフトウェアエンジニアリングコミュニティでは、最近多くのソースコード処理タスクにディープラーニング(DL)が適用されています。 DLモデルの解釈性が悪いため、セキュリティ上の脆弱性は精査が必要である。 最近、研究者らは突発的なセキュリティの脅威、すなわち毒物攻撃を発見した。 攻撃者は、トレーニングデータに毒のサンプルを注入することで、悪質なバックドアをモデルに注入する。 有毒モデルは正常にクリーンな入力で動作しますが、ターゲットとする誤った結果とトリガーを組み込んだ有毒な入力を生成します。 バックドアをアクティベートすることで、攻撃者はセキュリティ関連のシナリオで有毒なモデルを操作できる。 本稿では,既存の深層ソースコード処理モデルのマルウェア攻撃に対する脆弱性を検証するため,ソースコードに対する毒物攻撃フレームワークであるcodepoisonerを提案する。 codepoisonerは、トレーニングデータを毒物サンプルで毒付けすることで、人間に受け入れられない毒物サンプルや攻撃モデルも作成できる。 毒物攻撃から守るため,我々はさらに,訓練データ中の毒物サンプルを検出するためのコード検出装置という効果的な防御手法を提案する。 CodeDetectorは多くのモデルアーキテクチャに適用でき、複数の毒物攻撃アプローチに対して効果的に防御できる。 CodePoisonerとCodeDetectorを、欠陥検出、クローン検出、コード修復を含む3つのタスクに適用します。 その結果,(1)CodePoisonerは,誤動作に対する誤誘導モデルにおいて,高い攻撃成功率(max:100%)を達成することがわかった。 既存のディープソースコード処理モデルが、毒物攻撃に対して強力な脆弱性があることを検証する。 2) CodeDetectorは, トレーニングデータ中の毒サンプル(最大100%)を検出することで, 複数の毒素攻撃アプローチを効果的に防御する。 この研究は、実践者が毒の攻撃に気づき、より高度な防衛技術の設計を促すのに役立つことを期待している。

関連論文リスト

• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• Diffusion Denoising as a Certified Defense against Clean-label Poisoning [56.04951180983087]
  本稿では,市販の拡散モデルを用いて,改ざんしたトレーニングデータを浄化する方法を示す。 7件のクリーンラベル中毒に対する我々の防御を広範囲に検証し、その攻撃成功率を0-16%に抑え、テスト時間の精度は無視できない程度に低下した。
  論文  参考訳（メタデータ） (2024-03-18T17:17:07Z)
• Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning Attacks [9.386731514208149]
  本研究では、AIコードジェネレータのセキュリティを、ターゲットとするデータ中毒戦略を考案することによって調査する。 セキュリティ脆弱性を含むコードの量を増やしてトレーニングデータを汚染します。 私たちの研究は、AIコードジェネレータが少量の毒にも弱いことを示しています。
  論文  参考訳（メタデータ） (2023-08-04T15:23:30Z)
• TrojanPuzzle: Covertly Poisoning Code-Suggestion Models [27.418320728203387]
  ドクストリングなどの文脈外領域に悪意のある毒データを植え付けることで静的解析を回避できる2つの攻撃を示す。 我々の最も新しい攻撃であるTROJANPUZLEは、ペイロードの特定の部分(目立たしい)を毒データに明示的に含めないことによって、不審な毒データを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-01-06T00:37:25Z)
• Towards A Proactive ML Approach for Detecting Backdoor Poison Samples [38.21287048132065]
  広告主は、トレーニングデータセットにバックドア毒サンプルを導入することで、ディープラーニングモデルにバックドアを埋め込むことができる。 本研究は,バックドア攻撃の脅威を軽減するために,このような毒のサンプルを検出する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-26T20:44:15Z)
• De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks [17.646155241759743]
  De-Poisは、中毒攻撃に対する攻撃に依存しない防御です。 我々は,4種類の毒殺攻撃を実施,5種類の典型的な防御方法を用いてデポアを評価する。
  論文  参考訳（メタデータ） (2021-05-08T04:47:37Z)
• DeepPoison: Feature Transfer Based Stealthy Poisoning Attack [2.1445455835823624]
  DeepPoisonは、1つの発電機と2つの識別器の斬新な敵対ネットワークです。 DeepPoisonは最先端の攻撃成功率を91.74%まで達成できる。
  論文  参考訳（メタデータ） (2021-01-06T15:45:36Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)
• Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks [74.88735178536159]
  データ中毒は、モデル盗難から敵の攻撃まで、脅威の中で一番の懸念事項だ。 データ中毒やバックドア攻撃は、テスト設定のバリエーションに非常に敏感である。 厳格なテストを適用して、それらを恐れるべき程度を判断します。
  論文  参考訳（メタデータ） (2020-06-22T18:34:08Z)
• MetaPoison: Practical General-purpose Clean-label Data Poisoning [58.13959698513719]
  データ中毒は、ニューラルネットワークの文脈における新たな脅威である。 メタポゾン(MetaPoison)は、メタラーニングによって二段階問題を近似し、ニューラルネットワークを騙す毒を発生させる一階法である。 ブラックボックスのGoogle Cloud AutoML APIでトレーニングされたモデルのデータ中毒が、初めて成功したことを実証します。
  論文  参考訳（メタデータ） (2020-04-01T04:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。