論文の概要: FDI: Attack Neural Code Generation Systems through User Feedback Channel

• arxiv url: http://arxiv.org/abs/2408.04194v1
• Date: Thu, 8 Aug 2024 03:28:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:50:38.471262
• Title: FDI: Attack Neural Code Generation Systems through User Feedback Channel
• Title（参考訳）: FDI: ユーザフィードバックチャネルによるニューラルネットワーク生成システムへの攻撃
• Authors: Zhensu Sun, Xiaoning Du, Xiapu Luo, Fu Song, David Lo, Li Li,
• Abstract要約: ニューラルコード生成システムにおける現在のフィードバック機構について検討する。 フィードバックによって、これらのシステムがフィードバックデータインジェクション攻撃に弱いことが分かっています。 本研究は,ニューラルネットワーク生成システムにおけるフィードバック機構のセキュリティへの影響を明らかにするものである。
• 参考スコア（独自算出の注目度）: 33.40065586386437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural code generation systems have recently attracted increasing attention to improve developer productivity and speed up software development. Typically, these systems maintain a pre-trained neural model and make it available to general users as a service (e.g., through remote APIs) and incorporate a feedback mechanism to extensively collect and utilize the users' reaction to the generated code, i.e., user feedback. However, the security implications of such feedback have not yet been explored. With a systematic study of current feedback mechanisms, we find that feedback makes these systems vulnerable to feedback data injection (FDI) attacks. We discuss the methodology of FDI attacks and present a pre-attack profiling strategy to infer the attack constraints of a targeted system in the black-box setting. We demonstrate two proof-of-concept examples utilizing the FDI attack surface to implement prompt injection attacks and backdoor attacks on practical neural code generation systems. The attacker may stealthily manipulate a neural code generation system to generate code with vulnerabilities, attack payload, and malicious and spam messages. Our findings reveal the security implications of feedback mechanisms in neural code generation systems, paving the way for increasing their security.
• Abstract（参考訳）: ニューラルコード生成システムは開発者の生産性向上とソフトウェア開発のスピードアップに注目が集まっている。 通常、これらのシステムはトレーニング済みのニューラルモデルを維持し、サービスとしての一般ユーザ(例えばリモートAPI)に利用可能にするとともに、生成されたコードに対するユーザの反応、すなわちユーザフィードバックを広範囲に収集し活用するためのフィードバックメカニズムを組み込む。 しかし、そのようなフィードバックのセキュリティへの影響はまだ調査されていない。 現在のフィードバック機構を体系的に研究した結果,フィードバックがフィードバックデータインジェクション(FDI)攻撃に対して脆弱であることが判明した。 我々は、FDI攻撃の方法論を議論し、ブラックボックス設定における標的システムの攻撃制約を推測するための攻撃前プロファイリング戦略を提案する。 本稿では、FDI攻撃面を利用した2つの概念実証例を実証し、実用的なニューラルネットワーク生成システムに対する即時インジェクション攻撃とバックドアアタックを実装した。 攻撃者は神経コード生成システムを密かに操作して、脆弱性のあるコードを生成し、ペイロードを攻撃し、悪意のあるスパムメッセージを生成する。 この結果から,ニューラルネットワーク生成システムにおけるフィードバック機構のセキュリティへの影響が明らかとなり,セキュリティ向上への道が開けた。

関連論文リスト

• Improving the Shortest Plank: Vulnerability-Aware Adversarial Training for Robust Recommender System [60.719158008403376]
  VAT(Vulnerability-aware Adversarial Training)は、レコメンデーションシステムにおける中毒攻撃に対する防御を目的とした訓練である。 VATは、システムの適合度に基づいて、ユーザの脆弱性を推定するために、新たな脆弱性認識機能を採用している。
  論文  参考訳（メタデータ） (2024-09-26T02:24:03Z)
• Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
  顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。 最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
  論文  参考訳（メタデータ） (2024-05-21T13:34:23Z)
• A Variational Autoencoder Framework for Robust, Physics-Informed Cyberattack Recognition in Industrial Cyber-Physical Systems [2.051548207330147]
  我々は、産業制御システムに対する秘密攻撃と呼ばれるサイバー攻撃を検出し、診断し、ローカライズするために使用できるデータ駆動フレームワークを開発する。 このフレームワークは、可変オートエンコーダ(VAE)、リカレントニューラルネットワーク(RNN)、ディープニューラルネットワーク(DNN)を組み合わせたハイブリッド設計である。
  論文  参考訳（メタデータ） (2023-10-10T19:07:53Z)
• Synthesis of Adversarial DDOS Attacks Using Tabular Generative Adversarial Networks [0.0]
  攻撃のテクノロジーが進化を続ける中で、新しいタイプの攻撃が目立っている。 これらの攻撃の1つは、GAN(Generative Adversarial Networks)に基づく攻撃で、機械学習IDSの脆弱性を回避できる。 本研究は、GINを用いて生成した実DDoS攻撃を用いて合成された敵攻撃がIDSに与える影響について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:55:04Z)
• A Human-in-the-Middle Attack against Object Detection Systems [4.764637544913963]
  本稿では,暗号におけるman-in-the-Middle攻撃に触発された新たなハードウェア攻撃を提案する。 この攻撃はUAP(Universal Adversarial Perturbations)を生成し、USBカメラと検出システムとの間の摂動を注入する。 これらの知見は、自律運転のような安全クリティカルなシステムにおけるディープラーニングモデルの適用に対する深刻な懸念を提起する。
  論文  参考訳（メタデータ） (2022-08-15T13:21:41Z)
• RobustSense: Defending Adversarial Attack for Secure Device-Free Human Activity Recognition [37.387265457439476]
  我々は、共通の敵攻撃を防御する新しい学習フレームワーク、RobustSenseを提案する。 本手法は,無線による人間行動認識と人物識別システムに有効である。
  論文  参考訳（メタデータ） (2022-04-04T15:06:03Z)
• A Novel Online Incremental Learning Intrusion Prevention System [2.5234156040689237]
  本稿では,自己組織型インクリメンタルニューラルネットワークとサポートベクトルマシンを併用したネットワーク侵入防止システムを提案する。 提案システムは,その構造上,シグネチャやルールに依存しないセキュリティソリューションを提供するとともに,既知の攻撃や未知の攻撃を高精度にリアルタイムに軽減することができる。
  論文  参考訳（メタデータ） (2021-09-20T13:30:11Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。