論文の概要: CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering
- arxiv url: http://arxiv.org/abs/2609.36570v1
- Date: Tue, 29 Sep 2026 02:51:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.135636
- Title: CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering
- Title（参考訳）: CounterSteer: アクティベーションステアリングによる間接プロンプト注入の抑制
- Abstract要約: 間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
- 参考スコア（独自算出の注目度）: 4.1626636325601405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Indirect prompt injection makes an LLM agent treat untrusted retrieved text as instructions. We present CounterSteer, an inference-time defense that suppresses this behavior inside the model. Per model, a five-step recipe fits a residual-stream direction from paired episodes differing only in whether an embedded instruction is followed, and retains it only if it passes pre-specified causal and capability gates. At deployment, the direction is subtracted from every tool-result token during prefill. The edit is always on--there is no detection decision to evade--and requires no fine-tuning, auxiliary model, or added tokens, only white-box serving and tool-result span boundaries. Across five open-weights models (8B-106B, five vendor lineages), held-out attack success falls from 0.21-1.00 undefended to 0.00-0.17 defended, and AgentDojo compromise rate from 0.10-0.49 to 0.006-0.079, at 93-100% typography-normalized benign utility, with larger task-dependent costs when reasoning over steered content. A benchmark-level adaptive attacker reaching 0.67-0.73 undefended is held to roughly a quarter of that on the two most deeply evaluated models. Among the defenses we measured on capable models, those achieving lower compromise rates either lost 22-89% of benign utility or fine-tuned the served weights. White-box gradient attacks through the deployed vector compromise at most 2 of 52 episodes, and none of 2,052 replayed human red-team attacks succeeds. CounterSteer largely neutralizes instructional takeover: a black-box framing search cracks 3 of 18 development samples. Parameter manipulation--attacker-chosen arguments in otherwise legitimate calls--is only partially resisted (13 of 18); the decision becomes linearly readable at argument emission but not at the examined pre-generation sites, and is not removed by the tested prefill- or decode-time steering, motivating argument-provenance controls.
- Abstract（参考訳）: 間接的なプロンプトインジェクションにより、LLMエージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
モデルごとに、5段階のレシピは、組込み命令が追従されているかどうかにのみ異なるペアエピソードから残留ストリーム方向を適合させ、事前に特定された因果ゲートと能力ゲートを通過した場合のみ保持する。
デプロイ時に、その方向は、プリフィル中にすべてのツール-resultトークンから引かれる。
また、微調整、補助モデル、追加トークン、ホワイトボックスサービスのみ、ツール-resultのバウンダリのみを必要としない。
5つのオープンウェイトモデル(8B-106B、ベンダー5系統)全体で、攻撃成功率は0.21-1.00から0.00-0.17に減少し、AgenDojoの妥協率は0.10-0.49から0.006-0.079に減少し、タイポグラフィの正規化された良性ユーティリティは93-100%となった。
ベンチマークレベルのアダプティブアタッカーが0.67-0.73まで到達し、最も深く評価された2つのモデルでその約4分の1に保持される。
私たちが有能なモデルで測定した防衛力のうち、低い妥協率を達成する者は22～89%の便益を失ったか、供用重量を微調整した。
52エピソード中2エピソードで展開されたベクター・妥協によるホワイトボックス・グラデーション・アタックは成功し、2,052回のリプレイされた人間のレッドチームアタックは成功しなかった。
CounterSteerは18の開発サンプルのブラックボックスフレーミングサーチクラック3をほとんど中和する。
パラメータ操作--アタッカー-チョーゼン引数は、通常の呼び出しでは部分的には抵抗されない(18の13); 決定は、引数の放出時に線形に可読になるが、検査済みのプレジェネレーションサイトでは読めず、テスト済みのプリフィルまたはデコードタイムのステアリングによって除去されず、引数改善制御を動機付けている。
関連論文リスト
- Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。
直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。
メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
論文 参考訳（メタデータ） (2026-09-23T03:06:01Z) - Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration [37.700303596218184]
RFA(Refusal Feature Ablation)を用いたオープンウェイト言語モデルの安全ガードレールのバイパス
本稿では,DDO(Decoy Direction Optimization)について紹介する。
この効果を定式化するスペクトル境界を証明し、6つのモデルファミリーでDDOを評価し、標準RFA下で10%のASRを達成する。
論文 参考訳（メタデータ） (2026-09-14T18:36:35Z) - The Deception Delta: Adversarial Evaluation of LLM-Based Smart Contract Bytecode Forensics [0.0]
大規模な言語モデルは、ブロックチェーンの法医学的な調査でますます使われている。
逆行性騙しは ドレインの検出を 20.0ポイント減らす
モデルは、隠されたドレインメカニズムを正しく記述するが、契約のフレーミングを受け入れ、それを良心として無視する。
論文 参考訳（メタデータ） (2026-09-12T18:45:24Z) - DriftNet: A Dual-Head Trajectory Transformer for Detecting and Localizing Prompt Injection in LLM Agents [0.0]
オペレーターは、攻撃がどこから入ったか、どのステップが破損したか、そして明らかな毒が抵抗されたかの3つの事実を必要とします。
DriftNetは2つのヘッドトラジェクトリ変換器で、ログ化されたツール呼び出しトラジェクトリを読み出し、1つのフォワードパスで3つの質問すべてに答える。
我々の知る限り、このジョイント出力を発生させた最初の検出器である。
論文 参考訳（メタデータ） (2026-09-09T22:52:23Z) - AgentDrift: A Step-Labeled Benchmark of Injection-Hijacked LLM Agent Trajectories [0.0]
LLMエージェントは、ツールコールのシーケンスを発行することでタスクを完了し、彼らが読んだすべての観察は、間接的なプロンプトインジェクションが入力できるチャネルである。
既存のベンチマークは、そのような攻撃がライブエージェントに対して成功するかどうかを測定し、既存のガードモデルは全体のトレースを判断する。
我々は5つのエージェントドメインにまたがる12,536の合成ツールコールトラジェクトリのベンチマークであるAgentDriftを提案する。
論文 参考訳（メタデータ） (2026-09-07T03:10:23Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。
我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。
我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
論文 参考訳（メタデータ） (2026-06-25T00:35:23Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳（メタデータ） (2026-02-19T08:31:16Z) - TrapSuffix: Proactive Defense Against Adversarial Suffixes in Jailbreaking [52.72486831074384]
サフィックスベースのジェイルブレイク攻撃は、敵のサフィックス、すなわち短いトークンシーケンスを付加し、LLMを安全でない出力にステアリングする。
提案するTrapSuffixは,推論パイプラインを変更することなく,トラップアラインな動作をベースモデルに注入する,軽量な微調整手法である。
様々なサフィックスベースのジェイルブレイク設定で、TrapSuffixは平均攻撃成功率を0.01%以下に下げ、平均追跡成功率87.9%を達成する。
論文 参考訳（メタデータ） (2026-02-06T11:43:56Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。