論文の概要: Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning Attacks

• arxiv url: http://arxiv.org/abs/2308.04451v3
• Date: Fri, 9 Feb 2024 16:28:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 20:43:47.688588
• Title: Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning Attacks
• Title（参考訳）: AIコードジェネレータの脆弱性 - ターゲットデータに対する攻撃調査
• Authors: Domenico Cotroneo, Cristina Improta, Pietro Liguori, Roberto Natella
• Abstract要約: 本研究では、AIコードジェネレータのセキュリティを、ターゲットとするデータ中毒戦略を考案することによって調査する。 セキュリティ脆弱性を含むコードの量を増やしてトレーニングデータを汚染します。 私たちの研究は、AIコードジェネレータが少量の毒にも弱いことを示しています。
• 参考スコア（独自算出の注目度）: 9.386731514208149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI-based code generators have become pivotal in assisting developers in writing software starting from natural language (NL). However, they are trained on large amounts of data, often collected from unsanitized online sources (e.g., GitHub, HuggingFace). As a consequence, AI models become an easy target for data poisoning, i.e., an attack that injects malicious samples into the training data to generate vulnerable code. To address this threat, this work investigates the security of AI code generators by devising a targeted data poisoning strategy. We poison the training data by injecting increasing amounts of code containing security vulnerabilities and assess the attack's success on different state-of-the-art models for code generation. Our study shows that AI code generators are vulnerable to even a small amount of poison. Notably, the attack success strongly depends on the model architecture and poisoning rate, whereas it is not influenced by the type of vulnerabilities. Moreover, since the attack does not impact the correctness of code generated by pre-trained models, it is hard to detect. Lastly, our work offers practical insights into understanding and potentially mitigating this threat.
• Abstract（参考訳）: AIベースのコードジェネレータは、自然言語(NL)からソフトウェアを書く開発者を支援する上で、重要な存在になっています。 しかし、それらは大量のデータに基づいてトレーニングされており、しばしば無害なオンラインソース(GitHub、HuggingFaceなど)から収集される。 その結果、AIモデルはデータ中毒の標的となる。つまり、悪意のあるサンプルをトレーニングデータに注入して脆弱性のあるコードを生成する攻撃である。 この脅威に対処するため、この研究はAIコードジェネレータのセキュリティを調査し、ターゲットとするデータ中毒戦略を考案する。 セキュリティ脆弱性を含むコードの増加を注入してトレーニングデータを汚染し、コード生成のためのさまざまな最先端モデルに対する攻撃の成功を評価する。 私たちの研究は、AIコードジェネレータが少量の毒にも弱いことを示しています。 特に攻撃の成功はモデルアーキテクチャと中毒率に大きく依存するが、脆弱性の種類には影響しない。 さらに、攻撃は事前訓練されたモデルによって生成されたコードの正しさに影響を及ぼさないため、検出は困難である。 最後に、我々の研究は、この脅威の理解と緩和に関する実践的な洞察を提供します。

関連論文リスト

• A Disguised Wolf Is More Harmful Than a Toothless Tiger: Adaptive Malicious Code Injection Backdoor Attack Leveraging User Behavior as Triggers [15.339528712960021]
  まず,コード生成シナリオにおけるセキュリティ問題に焦点を当てたゲーム理論モデルを提案する。 このフレームワークは、攻撃者が悪意のあるコードモデルを広げてセキュリティ脅威を発生させる可能性のあるシナリオとパターンを概説する。 また、攻撃者がバックドアアタックを使用して悪意のあるコードインジェクションのタイミングを動的に調整できることも初めて指摘した。
  論文  参考訳（メタデータ） (2024-08-19T18:18:04Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• Poisoning Programs by Un-Repairing Code: Security Concerns of AI-generated Code [0.9790236766474201]
  脆弱性コードの生成につながる新たなデータ中毒攻撃を特定します。 次に、これらの攻撃がコード生成の最先端モデルにどのように影響するかを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-03-11T12:47:04Z)
• TrojanPuzzle: Covertly Poisoning Code-Suggestion Models [27.418320728203387]
  ドクストリングなどの文脈外領域に悪意のある毒データを植え付けることで静的解析を回避できる2つの攻撃を示す。 我々の最も新しい攻撃であるTROJANPUZLEは、ペイロードの特定の部分(目立たしい)を毒データに明示的に含めないことによって、不審な毒データを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-01-06T00:37:25Z)
• Poison Attack and Defense on Deep Source Code Processing Models [38.32413592143839]
  我々は、CodePoisonerという名前のソースコードに対して、強力な想像上の敵として毒攻撃フレームワークを提示する。 CodePoisonerは、人間の知覚できない毒のサンプルをコンパイルして、トレーニングデータに毒を加えて攻撃する。 トレーニングデータ中の毒サンプルを検出するために,CodeDetectorという効果的な防御手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T03:06:40Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Defening against Adversarial Denial-of-Service Attacks [0.0]
  データ中毒は、機械学習とデータ駆動技術に対する最も関連するセキュリティ脅威の1つです。 我々は,dos有毒なインスタンスを検出する新しい手法を提案する。 2つのdos毒殺攻撃と7つのデータセットに対する我々の防御を評価し、毒殺事例を確実に特定できることを確認します。
  論文  参考訳（メタデータ） (2021-04-14T09:52:36Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。