論文の概要: Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
- arxiv url: http://arxiv.org/abs/2605.28999v1
- Date: Wed, 27 May 2026 18:56:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 00:00:30.931306
- Title: Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
- Title(参考訳): LLMを用いた再試薬スクリーニングにおける実世界プロンプト注入攻撃の測定
- Authors: Mohan Zhang, Yuqi Jia, Zhen Tan, Steven Jiang, Neil Zhenqiang Gong, Tianlong Chen, Dawn Song,
- Abstract要約: 広範に利用されているアプリケーションにおいて,最初のシステマティック・インジェクション・アタックについて述べる。
我々の分析は、数年以上にわたって雇用EZによって収集された約200万の現実世界の履歴書に基づいている。
- 参考スコア(独自算出の注目度): 101.09427874773901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs are vulnerable to prompt injection attacks. However, this vulnerability has been primarily demonstrated conceptually in academic studies or through a few anecdotal case studies. Its prevalence and impact in real-world LLM-based applications are largely unexplored. In this work, we present the first systematic study of prompt-injection attacks in a widely used application: LLM-based resume screening. Our analysis is based on approximately 200K real-world resumes collected over multiple years by hireEZ. We first design tailored methods to detect prompt injection in resumes. Manual validation on a small-scale dataset demonstrates that our detectors achieve high precision and outperform state-of-the-art general-purpose detectors. We then apply our detector to the full resume dataset and conduct a comprehensive measurement study of real-world prompt injection attacks. Our analysis reveals several intriguing findings: approximately 1% of resumes contain hidden prompt injections; the prevalence of such injected resumes has increased noticeably over the past one to two years; and more than 90% of injected prompts do not use explicit instructions. These results provide the first evidence of large-scale prompt injection in real-world LLM-based applications and lay the groundwork for future studies to understand and mitigate such attacks.
- Abstract(参考訳): LLMはインジェクション攻撃に弱い。
しかし、この脆弱性は、主に学術研究やいくつかの事例研究を通じて概念的に実証されてきた。
実世界のLLMベースのアプリケーションにおけるその普及と影響は、ほとんど解明されていない。
本研究は, LLMを用いた再検診システムにおいて, プロンプト・インジェクション・アタックの最初の体系的研究である。
我々の分析は、数年以上にわたって雇用EZによって収集された約200万の現実世界の履歴書に基づいている。
まず、履歴書におけるプロンプトインジェクションを検出するための調整された手法を設計する。
小型データセット上の手動検証は、我々の検出器が高精度で、最先端の汎用検出器より優れていることを示す。
次に、検出装置を全履歴データセットに適用し、実世界の即発注入攻撃の包括的測定を行う。
約1%の履歴書には隠されたプロンプト注射が含まれており,過去1~2年間でその頻度は顕著に増加しており,90%以上は明示的な指示を使わなかった。
これらの結果は、現実のLSMベースのアプリケーションに大規模なインプットを注入する最初の証拠となり、そのような攻撃を理解し緩和するための今後の研究の基礎を築いた。
関連論文リスト
- Attention is All You Need to Defend Against Indirect Prompt Injection Attacks in LLMs [27.395843922014294]
大規模言語モデル(LLM)は、より洗練されたタスクを実行するために多くのアプリケーション(Webエージェントなど)に統合されている。
本稿では IPI 攻撃を検知・防止するための防御フレームワークである Rennervate について述べる。
論文 参考訳(メタデータ) (2025-12-09T09:44:13Z) - TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [92.26240528996443]
大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。
提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。
提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
論文 参考訳(メタデータ) (2025-07-18T06:23:31Z) - DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks [87.66245688589977]
LLM統合されたアプリケーションとエージェントは、インジェクション攻撃に弱い。
検出方法は、入力が注入プロンプトによって汚染されているかどうかを判定することを目的とする。
本研究では,迅速なインジェクション攻撃を検出するゲーム理論手法であるDataSentinelを提案する。
論文 参考訳(メタデータ) (2025-04-15T16:26:21Z) - PromptShield: Deployable Detection for Prompt Injection Attacks [1.8146155083014202]
本稿では、デプロイ可能なプロンプトインジェクション検出器のトレーニングと評価のためのベンチマークであるPromptShieldを紹介する。
我々のベンチマークは慎重にキュレートされ、対話型データとアプリケーション構造化データの両方を含んでいる。
我々の研究は、トレーニングデータとより大きなモデルの慎重なキュレーションが、強力な検出器性能に寄与することを示唆している。
論文 参考訳(メタデータ) (2025-01-25T09:03:19Z) - Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection [6.269725911814401]
大きな言語モデル(LLM)は、幅広い言語ベースのタスクに対処する能力が大きく進歩しているため、人気ツールになりつつある。
しかし、LSMのアプリケーションはインジェクション攻撃に対して非常に脆弱であり、致命的な問題を引き起こす。
このプロジェクトでは,インジェクションのインジェクション攻撃に関連するセキュリティ脆弱性について検討する。
論文 参考訳(メタデータ) (2024-10-28T00:36:21Z) - Enhancing Prompt Injection Attacks to LLMs via Poisoning Alignment [35.344406718760574]
プロンプトインジェクション攻撃は、大規模言語モデルをインジェクションされたプロンプトに従ってアタッカー・チョーセンタスクを実行することを目的としている。
既存の攻撃は主にこれらのインジェクションを推論時に作成することに集中し、LSM自体を静的なターゲットとして扱う。
そこで本研究では,LSMのアライメントプロセスに毒を盛り,将来のインジェクション攻撃の成功を増幅する,より基本的な攻撃ベクトルを提案する。
論文 参考訳(メタデータ) (2024-10-18T18:52:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。