論文の概要: On the Security Vulnerabilities of Text-to-SQL Models

• arxiv url: http://arxiv.org/abs/2211.15363v4
• Date: Sat, 11 May 2024 15:08:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 02:01:31.819670
• Title: On the Security Vulnerabilities of Text-to-SQL Models
• Title（参考訳）: テキスト-SQLモデルのセキュリティ脆弱性について
• Authors: Xutan Peng, Yipeng Zhang, Jingfeng Yang, Mark Stevenson,
• Abstract要約: 6つの商用アプリケーション内のモジュールは悪意のあるコードを生成するために操作可能であることを示す。 これはNLPモデルが野生の攻撃ベクトルとして活用できる最初の実演である。 この研究の目的は、NLPアルゴリズムに関連する潜在的なソフトウェアセキュリティ問題にコミュニティの注意を向けることである。
• 参考スコア（独自算出の注目度）: 34.749129843281196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although it has been demonstrated that Natural Language Processing (NLP) algorithms are vulnerable to deliberate attacks, the question of whether such weaknesses can lead to software security threats is under-explored. To bridge this gap, we conducted vulnerability tests on Text-to-SQL systems that are commonly used to create natural language interfaces to databases. We showed that the Text-to-SQL modules within six commercial applications can be manipulated to produce malicious code, potentially leading to data breaches and Denial of Service attacks. This is the first demonstration that NLP models can be exploited as attack vectors in the wild. In addition, experiments using four open-source language models verified that straightforward backdoor attacks on Text-to-SQL systems achieve a 100% success rate without affecting their performance. The aim of this work is to draw the community's attention to potential software security issues associated with NLP algorithms and encourage exploration of methods to mitigate against them.
• Abstract（参考訳）: 自然言語処理(NLP)アルゴリズムが故意の攻撃に弱いことが証明されているが、そのような弱点がソフトウェアセキュリティの脅威につながるかどうかという問題は未解決である。 このギャップを埋めるために、データベースに自然言語インターフェースを作成するのに一般的に使用されるText-to-SQLシステムで脆弱性テストを実施しました。 6つの商用アプリケーション内のText-to-SQLモジュールが悪意のあるコードを生成するために操作可能であることを示しました。 これはNLPモデルが野生の攻撃ベクトルとして活用できる最初の実演である。 さらに、4つのオープンソース言語モデルを用いた実験では、Text-to-SQLシステムに対する単純なバックドア攻撃が、パフォーマンスに影響を与えることなく100%の成功率を達成することを確認した。 この研究の目的は、NLPアルゴリズムに関連する潜在的なソフトウェアセキュリティ問題にコミュニティの注意を引き付け、それらの対策方法の探求を促進することである。

関連論文リスト

• Unmasking Database Vulnerabilities: Zero-Knowledge Schema Inference Attacks in Text-to-SQL Systems [7.613758211231583]
  本稿では,データベースの事前知識を必要とせずに,テキストから生成モデルへの基盤となるデータベーススキーマを再構築するための新しいゼロ知識フレームワークを提案する。 F1スコアは生成モデルで最大.99、微調整モデルで最大.78である。 本稿では、生成モデルに対する簡単な保護機構を提案し、これらの攻撃を緩和する際の限界を実証的に示す。
  論文  参考訳（メタデータ） (2024-06-20T17:54:33Z)
• Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
  脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。 実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
  論文  参考訳（メタデータ） (2024-06-09T19:18:05Z)
• Transforming Computer Security and Public Trust Through the Exploration of Fine-Tuning Large Language Models [0.0]
  Mallasは、大きな言語モデル(LLM)を悪用する悪意のあるサービスである。 本稿では,様々な事前学習言語モデルとその効率と脆弱性を検証し,Mallasの増殖について考察する。
  論文  参考訳（メタデータ） (2024-06-02T06:10:31Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Exploring the Limits of Transfer Learning with Unified Model in the Cybersecurity Domain [17.225973170682604]
  生成型マルチタスクモデル Unified Text-to-Text Cybersecurity (UTS) を導入する。 UTSはマルウェアレポート、フィッシングサイトURL、プログラミングコード構造、ソーシャルメディアデータ、ブログ、ニュース記事、フォーラムの投稿で訓練されている。 UTSはいくつかのサイバーセキュリティデータセットの性能を改善している。
  論文  参考訳（メタデータ） (2023-02-20T22:21:26Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
  最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。 バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。 単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:17Z)
• Security Vulnerability Detection Using Deep Learning Natural Language Processing [1.4591078795663772]
  ソースコードをテキストとして扱う自然言語処理(NLP)問題としてソフトウェア脆弱性検出をモデル化する。 トレーニングとテストのために、123タイプの脆弱性を持つ$C$プログラミング言語で10000以上のファイルのデータセットを構築しました。 実験は、セキュリティ脆弱性の検出において93%以上の精度で最高のパフォーマンスを生み出します。
  論文  参考訳（メタデータ） (2021-05-06T01:28:21Z)
• Trojaning Language Models for Fun and Profit [53.45727748224679]
  TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。 セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-08-01T18:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。