論文の概要: What Victims Take Away: Attack Reuse and Defense Revision after Prompt-Injection Attacks
- arxiv url: http://arxiv.org/abs/2610.36422v1
- Date: Tue, 27 Oct 2026 00:04:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.211296
- Title: What Victims Take Away: Attack Reuse and Defense Revision after Prompt-Injection Attacks
- Title(参考訳): 被害者の注意を喚起する: プロンプト・インジェクション攻撃後のリユースと防衛の見直し
- Abstract要約: 1週間以内に標的は防御を破った攻撃の10.0%で他のプレイヤーを攻撃し、マッチした攻撃の0.03%を攻撃した。
それまでの受信したテキストは、我々が分析した成功したハイジャックの23.2%を占めていた。
- 参考スコア(独自算出の注目度): 4.327699139300453
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attack logs and red-team reports show targets the attacks used against them, to help them repair their defenses. Prompt injections against large language models (LLMs) are plain text, so such records also hand targets a working copy. Drawing on social learning theory and work on the victim-offender overlap, we study what targets do with that copy in Tensor Trust, an online game whose players defended LLM-guarded accounts, attacked one another's, and could read every attack they received. Using all 563,349 attack records, we compare each received attack with matched attacks that circulated among similar players at the same moment but never reached the target. Reuse mainly followed success: within a week, targets attacked other players with 10.0% of the attacks that had broken their defense, versus 0.03% of matched attacks (adjusted difference: 8.8-10.0 percentage points). Near-misses, whose replies began with "access granted" but that scored as failures, were reused about as rarely as failures: reuse tracked whether an attack paid off, not how its reply read, consistent with payoff-biased social learning. Breaches were also followed by defense changes, after which same-family attacks became 24.5 percentage points less successful against the target, relative to other defenders. Reuse came mainly from players already attacking, not newcomers. Previously received texts accounted for 23.2% of the successful hijacks we analyze. The attack history thus served both repair and reuse; we derive testable hypotheses for how AI security tools should disclose attacks, such as describing the technique without the full text.
- Abstract(参考訳): 攻撃ログとレッドチームによる報告は、彼らが防御を修復するのに役立つ攻撃を標的にしていることを示している。
大きな言語モデル(LLM)に対するプロンプトインジェクションはプレーンテキストであるため、そのようなレコードはワーキングコピーも対象とする。
社会学習理論と被害者と被害者のオーバーラップに関する作業に基づいて、プレイヤーがLSMで守られたアカウントを守り、互いを攻撃し、受け取った全ての攻撃を読み取るオンラインゲームであるTensor Trust(テンソル・トラスト)で、そのコピーのターゲットを調査した。
全563,349件の攻撃記録を用いて、各攻撃を、類似プレイヤー間で同時に流通するが目標に到達しない一致した攻撃と比較した。
1週間以内に、攻撃の10.0%が防御を破ったが、マッチした攻撃の0.03%が攻撃を受けた(調整された差は8.8-10.0ポイント)。
ニアミスは、返信は「アクセス許可」から始まったが、失敗と評価されたものは、失敗と同じくらいめったに再利用されなかった。
また、同じ家族による攻撃は、他の守備隊と比較して24.5ポイントも目標に対して成功しなかった。
再利用は主にプレイヤーが攻撃しており、新参者ではない。
これまで受信したテキストは、分析したヒジャックの23.2%を占めていた。
これにより、攻撃履歴は修復と再利用の両方に役立ち、AIセキュリティツールが攻撃を開示すべきである、というテスト可能な仮説を導出します。
関連論文リスト
- Decomposition Attacks Across Unlinkable Identities: Limits of Stateful Defenses for LLM Services [56.0553456562323]
ほとんどの大規模言語モデルはステートレスディフェンスを使用しており、これは有害なタスクを拒否する現在の要求のみを判断する。
分解攻撃は、有害なタスクを個別に許容される要求に分割し、回答を組み合わせることで、この制限を利用する。
達成可能なセキュリティとユーティリティのトレードオフは、同じ機能に対する良質な要求がどのようにグループ化されるかに完全に依存していることを示します。
論文 参考訳(メタデータ) (2026-08-18T07:26:30Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳(メタデータ) (2025-12-23T08:42:09Z) - The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections [74.60337113759313]
現在のジェイルブレイクとプロンプトインジェクションに対する防御は、通常、有害な攻撃文字列の静的セットに対して評価される。
我々は,この評価プロセスに欠陥があることを論じる。代わりに,攻撃戦略を明示的に修正したアダプティブアタッカーに対する防御を,防衛設計に対抗して評価すべきである。
論文 参考訳(メタデータ) (2025-10-10T05:51:04Z) - PubDef: Defending Against Transfer Attacks From Public Models [6.0012551318569285]
本稿では,公用サロゲートモデルによる転送攻撃を敵が頼りにする,新たな実用的脅威モデルを提案する。
本研究では,この環境での移動攻撃を評価し,ゲーム理論の観点から専門的な防御手法を提案する。
この脅威モデルの下では、我々の防衛であるPubDefは、最先端のホワイトボックス対敵訓練を、通常の精度でほとんど損なわない大きなマージンで上回っている。
論文 参考訳(メタデータ) (2023-10-26T17:58:08Z) - Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor
Attacks in Federated Learning [102.05872020792603]
我々は,他のクライアントの行動を含む,連合学習パイプライン全体の予測と説明を行う攻撃を提案する。
この新たな攻撃は、ランダムにサンプリングされたラウンドのごく一部にアタッカーが貢献する現実的なシナリオにおいて有効であることを示す。
論文 参考訳(メタデータ) (2022-10-17T17:59:38Z) - The Art of Manipulation: Threat of Multi-Step Manipulative Attacks in
Security Games [8.87104231451079]
本稿では,Stackelbergセキュリティゲームにおけるマルチステップマニピュレータ攻撃の問題点について検討する。
巧妙な攻撃者は、攻撃者の行動に関するディフェンダーの学習を誤解させるために、複数の時間ステップで攻撃を組織しようと試みる。
この攻撃操作は最終的に、攻撃者の利益に対する守備者のパトロール戦略に影響を与える。
論文 参考訳(メタデータ) (2022-02-27T18:58:15Z) - Attacking Adversarial Attacks as A Defense [40.8739589617252]
敵の攻撃は 知覚不能な摂動で ディープニューラルネットワークを騙す
逆向きに訓練されたモデルでは、小さなランダムノイズで逆向きの例を摂動することで、誤った予測を無効にすることができる。
我々はより効果的な防御的摂動を構築することで攻撃に対抗することを提案する。
論文 参考訳(メタデータ) (2021-06-09T09:31:10Z) - Adversarial Imitation Attack [63.76805962712481]
現実的な敵攻撃は、攻撃されたモデルの知識をできるだけ少なくする必要がある。
現在の代替攻撃では、敵の例を生成するために事前訓練されたモデルが必要である。
本研究では,新たな敵模倣攻撃を提案する。
論文 参考訳(メタデータ) (2020-03-28T10:02:49Z) - Deflecting Adversarial Attacks [94.85315681223702]
我々は、攻撃者が攻撃対象クラスに似た入力を生成することによって、敵攻撃を「防御」するこのサイクルを終わらせる新しいアプローチを提案する。
本稿ではまず,3つの検出機構を組み合わせたカプセルネットワークに基づくより強力な防御手法を提案する。
論文 参考訳(メタデータ) (2020-02-18T06:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。