論文の概要: On the Security Vulnerabilities of Text-to-SQL Models

• arxiv url: http://arxiv.org/abs/2211.15363v1
• Date: Mon, 28 Nov 2022 14:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 17:10:10.329582
• Title: On the Security Vulnerabilities of Text-to-SQL Models
• Title（参考訳）: テキスト-SQLモデルのセキュリティ脆弱性について
• Authors: Xutan Peng, Yipeng Zhang, Jingfeng Yang, Mark Stevenson
• Abstract要約: 2つの商用ブラックボックスのText-to-sqlモジュールは悪意のあるコードを生成するために操作可能であることを示す。 これは、NLPモデルが野生における攻撃防御として利用される危険性の初めての実証である。
• 参考スコア（独自算出の注目度）: 25.252043889397733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies show that, despite being effective on numerous tasks, text processing algorithms may be vulnerable to deliberate attacks. However, the question of whether such weaknesses can directly lead to security threats is still under-explored. To bridge this gap, we conducted vulnerability tests on Text-to-SQL, a technique that builds natural language interfaces for databases. Empirically, we showed that the Text-to-SQL modules of two commercial black boxes (Baidu-UNIT and Codex-powered Ai2sql) can be manipulated to produce malicious code, potentially leading to data breaches and Denial of Service. This is the first demonstration of the danger of NLP models being exploited as attack vectors in the wild. Moreover, experiments involving four open-source frameworks verified that simple backdoor attacks can achieve a 100% success rate on Text-to-SQL systems with almost no prediction performance impact. By reporting these findings and suggesting practical defences, we call for immediate attention from the NLP community to the identification and remediation of software security issues.
• Abstract（参考訳）: 最近の研究によると、テキスト処理アルゴリズムは多くのタスクに効果があるものの、意図的な攻撃に対して脆弱である可能性がある。 しかし、このような弱点が直接セキュリティの脅威に繋がるかどうかはまだ未定だ。 このギャップを埋めるため、データベースの自然言語インターフェースを構築するテクニックであるText-to-SQLの脆弱性テストを実施しました。 実証的な結果として、2つの商用ブラックボックス(Baidu-UNIT と Codex で動作する Ai2sql)の Text-to-SQL モジュールが悪意のあるコードを生成するために操作可能であることを示しました。 これは、NLPモデルが野生の攻撃ベクトルとして利用される危険性の初めての実証である。 さらに、4つのオープンソースフレームワークを含む実験により、単純なバックドア攻撃がテキストからSQLシステムで100%の成功率を達成できることを確認した。 これらの知見を報告し,実践的な防衛策を提案することにより,ソフトウェアセキュリティ問題の特定と修復にNLPコミュニティから直ちに注意を喚起する。

関連論文リスト

• Unmasking Database Vulnerabilities: Zero-Knowledge Schema Inference Attacks in Text-to-SQL Systems [7.613758211231583]
  本稿では,データベースの事前知識を必要とせずに,テキストから生成モデルへの基盤となるデータベーススキーマを再構築するための新しいゼロ知識フレームワークを提案する。 F1スコアは生成モデルで最大.99、微調整モデルで最大.78である。 本稿では、生成モデルに対する簡単な保護機構を提案し、これらの攻撃を緩和する際の限界を実証的に示す。
  論文  参考訳（メタデータ） (2024-06-20T17:54:33Z)
• Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
  脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。 実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
  論文  参考訳（メタデータ） (2024-06-09T19:18:05Z)
• Transforming Computer Security and Public Trust Through the Exploration of Fine-Tuning Large Language Models [0.0]
  Mallasは、大きな言語モデル(LLM)を悪用する悪意のあるサービスである。 本稿では,様々な事前学習言語モデルとその効率と脆弱性を検証し,Mallasの増殖について考察する。
  論文  参考訳（メタデータ） (2024-06-02T06:10:31Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Exploring the Limits of Transfer Learning with Unified Model in the Cybersecurity Domain [17.225973170682604]
  生成型マルチタスクモデル Unified Text-to-Text Cybersecurity (UTS) を導入する。 UTSはマルウェアレポート、フィッシングサイトURL、プログラミングコード構造、ソーシャルメディアデータ、ブログ、ニュース記事、フォーラムの投稿で訓練されている。 UTSはいくつかのサイバーセキュリティデータセットの性能を改善している。
  論文  参考訳（メタデータ） (2023-02-20T22:21:26Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
  最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。 バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。 単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:17Z)
• Security Vulnerability Detection Using Deep Learning Natural Language Processing [1.4591078795663772]
  ソースコードをテキストとして扱う自然言語処理(NLP)問題としてソフトウェア脆弱性検出をモデル化する。 トレーニングとテストのために、123タイプの脆弱性を持つ$C$プログラミング言語で10000以上のファイルのデータセットを構築しました。 実験は、セキュリティ脆弱性の検出において93%以上の精度で最高のパフォーマンスを生み出します。
  論文  参考訳（メタデータ） (2021-05-06T01:28:21Z)
• Trojaning Language Models for Fun and Profit [53.45727748224679]
  TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。 セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-08-01T18:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。