論文の概要: Are Your LLM-based Text-to-SQL Models Secure? Exploring SQL Injection via Backdoor Attacks

• arxiv url: http://arxiv.org/abs/2503.05445v1
• Date: Fri, 07 Mar 2025 14:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:19:47.911932
• Title: Are Your LLM-based Text-to-SQL Models Secure? Exploring SQL Injection via Backdoor Attacks
• Title（参考訳）: LLMベースのテキスト-SQLモデルはセキュアか? バックドアアタックによるSQLインジェクションの探索
• Authors: Meiyu Lin, Haichuan Zhang, Jiale Lao, Renyuan Li, Yuanchun Zhou, Carl Yang, Yang Cao, Mingjie Tang,
• Abstract要約: セキュリティ上の懸念はほとんど未解決であり、特にバックドア攻撃の脅威である。 Toxicは、新しいバックドア攻撃フレームワークである。 我々は、0.44%の有毒データを注入するだけで79.41%の攻撃成功率となり、データベースのセキュリティに重大なリスクが生じることを示した。
• 参考スコア（独自算出の注目度）: 23.403724263002008
• License:
• Abstract: Large language models (LLMs) have shown state-of-the-art results in translating natural language questions into SQL queries (Text-to-SQL), a long-standing challenge within the database community. However, security concerns remain largely unexplored, particularly the threat of backdoor attacks, which can introduce malicious behaviors into models through fine-tuning with poisoned datasets. In this work, we systematically investigate the vulnerabilities of LLM-based Text-to-SQL models and present ToxicSQL, a novel backdoor attack framework. Our approach leverages stealthy {semantic and character-level triggers} to make backdoors difficult to detect and remove, ensuring that malicious behaviors remain covert while maintaining high model accuracy on benign inputs. Furthermore, we propose leveraging SQL injection payloads as backdoor targets, enabling the generation of malicious yet executable SQL queries, which pose severe security and privacy risks in language model-based SQL development. We demonstrate that injecting only 0.44% of poisoned data can result in an attack success rate of 79.41%, posing a significant risk to database security. Additionally, we propose detection and mitigation strategies to enhance model reliability. Our findings highlight the urgent need for security-aware Text-to-SQL development, emphasizing the importance of robust defenses against backdoor threats.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、自然言語の質問をSQLクエリ(Text-to-SQL)に翻訳する、最先端の結果を示している。 しかし、特にバックドア攻撃の脅威は、有害なデータセットを微調整することで、モデルに悪意ある振る舞いをもたらす可能性がある。 本研究では LLM ベースの Text-to-SQL モデルの脆弱性を系統的に調査し,新たなバックドア攻撃フレームワークである ToxicSQL を提示する。 我々のアプローチでは、ステルス性(semantic)とキャラクタレベルトリガ( character-level triggers)を活用して、バックドアの検出と削除を困難にし、悪意のある動作を隠蔽しつつ、良心的な入力に対して高いモデル精度を維持する。 さらに,SQLインジェクションペイロードをバックドアターゲットとして活用することで,悪意のある実行可能SQLクエリの生成を可能にし,言語モデルベースのSQL開発において重大なセキュリティとプライバシのリスクを生じさせる。 我々は、0.44%の有毒データを注入するだけで79.41%の攻撃成功率となり、データベースのセキュリティに重大なリスクが生じることを示した。 さらに,モデルの信頼性を高めるための検出・緩和戦略を提案する。 我々の発見は、セキュリティを意識したText-to-SQL開発に対する緊急の必要性を強調し、バックドアの脅威に対する堅牢な防御の重要性を強調した。

関連論文リスト

• Enhancing SQL Injection Detection and Prevention Using Generative Models [4.424836140281847]
  本稿では,SQLiの検出・防止機構を強化するために生成モデルを活用する革新的な手法を提案する。 変分オートエンコーダ(VAE)、条件付きワッサースタインGAN、グラディエントペナルティ(CWGAN-GP)、U-Netを組み込むことで、機械学習モデルのトレーニングデータセットを増強するために合成sqlクエリが生成される。
  論文  参考訳（メタデータ） (2025-02-07T09:43:43Z)
• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
  大規模言語モデル(LLM)は目覚ましい能力を示している。 その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。 本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
  論文  参考訳（メタデータ） (2024-08-20T10:44:29Z)
• Unmasking Database Vulnerabilities: Zero-Knowledge Schema Inference Attacks in Text-to-SQL Systems [7.613758211231583]
  本稿では,データベースの事前知識を必要とせずに,テキストから生成モデルへの基盤となるデータベーススキーマを再構築するための新しいゼロ知識フレームワークを提案する。 F1スコアは生成モデルで最大.99、微調整モデルで最大.78である。 本稿では、生成モデルに対する簡単な保護機構を提案し、これらの攻撃を緩和する際の限界を実証的に示す。
  論文  参考訳（メタデータ） (2024-06-20T17:54:33Z)
• TrustSQL: Benchmarking Text-to-SQL Reliability with Penalty-Based Scoring [11.78795632771211]
  本稿では,任意の入力質問を正しく処理するモデルとして,テキスト・ツー・信頼性を評価するための新しいベンチマークを提案する。 2つのモデリング手法を用いて,新たなペナルティに基づく評価基準を用いた既存手法の評価を行った。
  論文  参考訳（メタデータ） (2024-03-23T16:12:52Z)
• Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
  本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。 我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。 また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-02T06:13:36Z)
• Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
  バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。 本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:24:56Z)
• From Prompt Injections to SQL Injection Attacks: How Protected is Your LLM-Integrated Web Application? [4.361862281841999]
  本稿では,Langchainフレームワークに基づくWebアプリケーションを対象としたP$$インジェクションの総合的な検討を行う。 以上の結果から,Langchain をベースとした LLM 統合アプリケーションは P$$ のインジェクション攻撃の影響を受けやすいことが示唆された。 本稿では,Langchainフレームワークの拡張として統合可能な4つの効果的な防御手法を提案する。
  論文  参考訳（メタデータ） (2023-08-03T19:03:18Z)
• Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness [115.66421993459663]
  近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。 モデル診断のための包括的ロバスト性ベンチマークを提案する。 我々は、そのセット上の最先端モデルの診断研究を行う。
  論文  参考訳（メタデータ） (2023-01-21T03:57:18Z)
• On the Security Vulnerabilities of Text-to-SQL Models [34.749129843281196]
  6つの商用アプリケーション内のモジュールは悪意のあるコードを生成するために操作可能であることを示す。 これはNLPモデルが野生の攻撃ベクトルとして活用できる最初の実演である。 この研究の目的は、NLPアルゴリズムに関連する潜在的なソフトウェアセキュリティ問題にコミュニティの注意を向けることである。
  論文  参考訳（メタデータ） (2022-11-28T14:38:45Z)
• Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
  最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。 バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。 単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。