Fugu-MT 論文翻訳(概要): Poisoning Programs by Un-Repairing Code: Security Concerns of AI-generated Code

論文の概要: Poisoning Programs by Un-Repairing Code: Security Concerns of AI-generated Code

arxiv url: http://arxiv.org/abs/2403.06675v1
Date: Mon, 11 Mar 2024 12:47:04 GMT
ステータス: 処理完了
システム内更新日: 2024-03-12 19:02:21.034162
Title: Poisoning Programs by Un-Repairing Code: Security Concerns of AI-generated Code
Title（参考訳）: un-repairing codeによる毒殺プログラム:ai生成コードのセキュリティ懸念
Authors: Cristina Improta
Abstract要約: 脆弱性コードの生成につながる新たなデータ中毒攻撃を特定します。次に、これらの攻撃がコード生成の最先端モデルにどのように影響するかを広範囲に評価する。
参考スコア（独自算出の注目度）: 0.9790236766474201
License: http://creativecommons.org/licenses/by/4.0/
Abstract: AI-based code generators have gained a fundamental role in assisting developers in writing software starting from natural language (NL). However, since these large language models are trained on massive volumes of data collected from unreliable online sources (e.g., GitHub, Hugging Face), AI models become an easy target for data poisoning attacks, in which an attacker corrupts the training data by injecting a small amount of poison into it, i.e., astutely crafted malicious samples. In this position paper, we address the security of AI code generators by identifying a novel data poisoning attack that results in the generation of vulnerable code. Next, we devise an extensive evaluation of how these attacks impact state-of-the-art models for code generation. Lastly, we discuss potential solutions to overcome this threat.
Abstract（参考訳）: AIベースのコードジェネレータは、自然言語(NL)からソフトウェアを書く開発者を支援する上で、基本的な役割を担っている。しかし、これらの大きな言語モデルは信頼性の低いオンラインソース(GitHub、Hugging Faceなど)から収集された大量のデータに基づいて訓練されているため、AIモデルはデータ中毒攻撃の標的となり、攻撃者は少量の毒を注入することでトレーニングデータを破損させる。本稿では,脆弱なコードを生成する新たなデータ中毒攻撃を識別することで,aiコード生成器のセキュリティ問題に対処する。次に、これらの攻撃がコード生成の最先端モデルにどのように影響するかを広範囲に評価する。最後に、この脅威を克服する潜在的な解決策について議論する。

関連論文リスト

RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
RedCodeはリスクの高いコード実行と生成のためのベンチマークである。 RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。 RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
論文参考訳（メタデータ） (2024-11-12T13:30:06Z)
A Disguised Wolf Is More Harmful Than a Toothless Tiger: Adaptive Malicious Code Injection Backdoor Attack Leveraging User Behavior as Triggers [15.339528712960021]
まず,コード生成シナリオにおけるセキュリティ問題に焦点を当てたゲーム理論モデルを提案する。このフレームワークは、攻撃者が悪意のあるコードモデルを広げてセキュリティ脅威を発生させる可能性のあるシナリオとパターンを概説する。また、攻撃者がバックドアアタックを使用して悪意のあるコードインジェクションのタイミングを動的に調整できることも初めて指摘した。
論文参考訳（メタデータ） (2024-08-19T18:18:04Z)
Assessing Cybersecurity Vulnerabilities in Code Large Language Models [18.720986922660543]
EvilInstructCoderは、命令チューニングされたコードLLMのサイバーセキュリティ脆弱性を敵の攻撃に対して評価するように設計されたフレームワークである。実際の脅威モデルを組み込んで、さまざまな能力を持つ現実世界の敵を反映している。我々は、3つの最先端のCode LLMモデルを用いて、コーディングタスクのための命令チューニングの活用性について包括的に調査する。
論文参考訳（メタデータ） (2024-04-29T10:14:58Z)
CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文参考訳（メタデータ） (2024-03-12T17:55:38Z)
Gotcha! This Model Uses My Code! Evaluating Membership Leakage Risks in Code Models [12.214474083372389]
コードモデルに特化した新しいメンバシップ推論手法であるGotchaを提案する。我々は,Gotchaが真正率0.95,偽正率0.10でデータメンバーシップを予測できることを示した。この研究は、コードモデルのプライバシを理解することにより多くの注意を払っている。
論文参考訳（メタデータ） (2023-10-02T12:50:43Z)
Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning Attacks [9.386731514208149]
本研究では、AIコードジェネレータのセキュリティを、ターゲットとするデータ中毒戦略を考案することによって調査する。セキュリティ脆弱性を含むコードの量を増やしてトレーニングデータを汚染します。私たちの研究は、AIコードジェネレータが少量の毒にも弱いことを示しています。
論文参考訳（メタデータ） (2023-08-04T15:23:30Z)
BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
テキストから画像への生成人工知能の普及は、大衆の関心を集めている。ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
論文参考訳（メタデータ） (2023-07-31T08:34:24Z)
CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文参考訳（メタデータ） (2023-02-08T11:54:07Z)
TrojanPuzzle: Covertly Poisoning Code-Suggestion Models [27.418320728203387]
ドクストリングなどの文脈外領域に悪意のある毒データを植え付けることで静的解析を回避できる2つの攻撃を示す。我々の最も新しい攻撃であるTROJANPUZLEは、ペイロードの特定の部分(目立たしい)を毒データに明示的に含めないことによって、不審な毒データを生成するための一歩を踏み出した。
論文参考訳（メタデータ） (2023-01-06T00:37:25Z)
PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
論文参考訳（メタデータ） (2022-05-13T00:15:44Z)
Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
論文参考訳（メタデータ） (2020-09-04T16:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。