論文の概要: Poisoning Programs by Un-Repairing Code: Security Concerns of
AI-generated Code
- arxiv url: http://arxiv.org/abs/2403.06675v1
- Date: Mon, 11 Mar 2024 12:47:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:02:21.034162
- Title: Poisoning Programs by Un-Repairing Code: Security Concerns of
AI-generated Code
- Title(参考訳): un-repairing codeによる毒殺プログラム:ai生成コードのセキュリティ懸念
- Authors: Cristina Improta
- Abstract要約: 脆弱性コードの生成につながる新たなデータ中毒攻撃を特定します。
次に、これらの攻撃がコード生成の最先端モデルにどのように影響するかを広範囲に評価する。
- 参考スコア(独自算出の注目度): 0.9790236766474201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-based code generators have gained a fundamental role in assisting
developers in writing software starting from natural language (NL). However,
since these large language models are trained on massive volumes of data
collected from unreliable online sources (e.g., GitHub, Hugging Face), AI
models become an easy target for data poisoning attacks, in which an attacker
corrupts the training data by injecting a small amount of poison into it, i.e.,
astutely crafted malicious samples. In this position paper, we address the
security of AI code generators by identifying a novel data poisoning attack
that results in the generation of vulnerable code. Next, we devise an extensive
evaluation of how these attacks impact state-of-the-art models for code
generation. Lastly, we discuss potential solutions to overcome this threat.
- Abstract(参考訳): AIベースのコードジェネレータは、自然言語(NL)からソフトウェアを書く開発者を支援する上で、基本的な役割を担っている。
しかし、これらの大きな言語モデルは信頼性の低いオンラインソース(GitHub、Hugging Faceなど)から収集された大量のデータに基づいて訓練されているため、AIモデルはデータ中毒攻撃の標的となり、攻撃者は少量の毒を注入することでトレーニングデータを破損させる。
本稿では,脆弱なコードを生成する新たなデータ中毒攻撃を識別することで,aiコード生成器のセキュリティ問題に対処する。
次に、これらの攻撃がコード生成の最先端モデルにどのように影響するかを広範囲に評価する。
最後に、この脅威を克服する潜在的な解決策について議論する。
関連論文リスト
- Enhancing Large Language Models for Secure Code Generation: A
Dataset-driven Study on Vulnerability Mitigation [24.668682498171776]
大規模言語モデル(LLM)はコード生成に大きな進歩をもたらし、初心者と経験豊富な開発者の両方に恩恵を与えている。
しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を不注意に伝播するリスクをもたらす。
本稿では,ソフトウェアセキュリティの観点からのLLMの評価と拡張に焦点をあてた総合的研究について述べる。
論文 参考訳(メタデータ) (2023-10-25T00:32:56Z) - Gotcha! This Model Uses My Code! Evaluating Membership Leakage Risks in
Code Models [12.826977688589176]
コードモデルに特化した新しいメンバシップ推論手法であるGotchaを提案する。
我々は,Gotchaが真正率0.95,偽正率0.10でデータメンバーシップを予測できることを示した。
この研究は、コードモデルのプライバシを理解することにより多くの注意を払っている。
論文 参考訳(メタデータ) (2023-10-02T12:50:43Z) - Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning
Attacks [9.386731514208149]
本研究では、AIコードジェネレータのセキュリティを、ターゲットとするデータ中毒戦略を考案することによって調査する。
セキュリティ脆弱性を含むコードの量を増やしてトレーニングデータを汚染します。
私たちの研究は、AIコードジェネレータが少量の毒にも弱いことを示しています。
論文 参考訳(メタデータ) (2023-08-04T15:23:30Z) - BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
テキストから画像への生成人工知能の普及は、大衆の関心を集めている。
ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。
テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。
我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
論文 参考訳(メタデータ) (2023-07-31T08:34:24Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳(メタデータ) (2023-07-20T17:33:25Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳(メタデータ) (2023-02-08T11:54:07Z) - TrojanPuzzle: Covertly Poisoning Code-Suggestion Models [27.418320728203387]
ドクストリングなどの文脈外領域に悪意のある毒データを植え付けることで静的解析を回避できる2つの攻撃を示す。
我々の最も新しい攻撃であるTROJANPUZLEは、ペイロードの特定の部分(目立たしい)を毒データに明示的に含めないことによって、不審な毒データを生成するための一歩を踏み出した。
論文 参考訳(メタデータ) (2023-01-06T00:37:25Z) - PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in
Contrastive Learning [69.70602220716718]
コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。
特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。
我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
論文 参考訳(メタデータ) (2022-05-13T00:15:44Z) - A Review of Adversarial Attack and Defense for Classification Methods [78.50824774203495]
本稿では,敵対的事例の生成と保護に焦点をあてる。
この論文は、多くの統計学者が、この重要かつエキサイティングな分野において、敵の事例を生成・防御することを奨励するものである。
論文 参考訳(メタデータ) (2021-11-18T22:13:43Z) - Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。
我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。
フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
論文 参考訳(メタデータ) (2020-09-04T16:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。