論文の概要: Ranked but Not Stopped: Detecting Prompt-Injection Hijacks from Typed Decision Models' Output Probabilities
- arxiv url: http://arxiv.org/abs/2611.02522v1
- Date: Mon, 02 Nov 2026 04:49:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.563765
- Title: Ranked but Not Stopped: Detecting Prompt-Injection Hijacks from Typed Decision Models' Output Probabilities
- Title（参考訳）: ランク付けされているが停止していない:タイプ決定モデルの出力確率からプロンプト注入ハイジャックを検出する
- Abstract要約: 信頼度モニターは、確実性を主張する攻撃者に対して、運用アラームレートでテストされるべきである。
攻撃者のラベルを知らないモニタは、モデル自身の自信を読み取ることができ、最上位の確率が低いときにアラームを上げることができる。
- 参考スコア（独自算出の注目度）: 2.349579657464914
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Programs that use a language model as a classifier act on its most probable label. Text injected into the input can move that label to one the attacker chooses, a hijack. A monitor that does not know the attacker's label can read the model's own confidence and raise an alarm when the top probability is low. We test this monitor on AG News topic classification with five systems, three of them served through a provider's API. Pooled over five families of injected text, low confidence ranks hijacked answers above clean ones on four of the five systems (AUROC 0.86-0.90). Ranking them does not stop many of them. A threshold set so that at most 5% of clean answers to separate calibration articles alarm falls among the least confident clean answers, and every more confident hijack passes. In our main gate run on the three API-served systems, the monitor misses 51-70% of the hijacks caused by a plain injected note (per-system point estimates). When the note adds one handwritten sentence that calls the target certain and asks for full probability, the monitor misses 99-100% of the hijacks, although low confidence still ranks them at AUROC 0.70-0.79. Confidence monitors should be tested at their operating alarm rate, against attackers who claim certainty.
- Abstract（参考訳）: 言語モデルを分類子として使用するプログラムは、最も確率の高いラベルに作用する。
入力に注入されたテキストは、そのラベルを攻撃者が選んだもの、すなわちハイジャックに移動させることができる。
攻撃者のラベルを知らないモニタは、モデル自身の自信を読み取ることができ、最上位の確率が低いときにアラームを上げることができる。
我々は、このモニターをAG Newsトピックの分類で5つのシステムでテストし、そのうち3つはプロバイダのAPIを通して機能します。
インジェクトされたテキストの5つのファミリーで、低い信頼度は5つのシステムのうち4つのシステム(AUROC 0.86-0.90)でクリーンなものよりも上位にハイジャックされている。
ランク付けは、多くを止めるものではない。
分離された校正項目に対するクリーンな回答の少なくとも5%が、最も確実なクリーンな回答の1つに該当し、より確実なハイジャックが通過するように設定された閾値。
メインゲートは3つのAPIサービスシステム上で動作しており、モニターは平易な注記(システム毎のポイント推定)によって引き起こされるハイジャックの51-70%を見逃します。
ノートがターゲットを呼び出し、完全な確率を求める1つの手書きの文を追加すると、モニターはハイジャックの99-100%を逃すが、信頼性の低いAUROC 0.70-0.79にランク付けする。
信頼度モニターは、確実性を主張する攻撃者に対して、運用アラームレートでテストされるべきである。
関連論文リスト
- One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails [8.534825157831387]
型付き決定モデルはテキストを読み出し、呼び出し元定義のオプションよりも確率を返します。
最近の作業では、これらのモデルをエージェントシステムにガードレールとして配置している。
その役割において、7つのオープンウェイトモデルを評価し、2つのエラー方向を別々に報告する。
論文 参考訳（メタデータ） (2026-10-08T16:46:43Z) - From Probe Scores to Alarm Policies: Operational Validity of Activation Monitors for Language-Model Agents [0.0]
アクティベーションプローブは、受信動作特性曲線(AUROC)の下で高い領域を持つ言語モデルの安全性関連特性を予測することができる
配備されたエージェントモニターは、厳格な偽アラーム予算の下で閾値付きアラーム決定を行う。
我々は,モニタの目標,可観測性,アイデンティティ,タイミング,介入ユニット,コンパレータ,キャリブレーション,コストを修正する操作検証契約を導入する。
論文 参考訳（メタデータ） (2026-10-03T15:11:21Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳（メタデータ） (2026-10-02T09:35:59Z) - Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation [2.8852978050220766]
我々は,Jev,Laya,Decider,Bespoke Nimbleを特殊分類器および言語モデル判定器に対して評価する。
全体的な精度が高く、平均校正誤差が低いと、特定のグループ内で高い信頼性で安全な攻撃を隠蔽できる。
開発者はレビュールールの前方にある安全でないインプットをテストし、レビューモデルのミスを測定し、それらのインプットに対して誤ったアラームを無視する必要がある。
論文 参考訳（メタデータ） (2026-09-27T09:30:13Z) - Recall Is Not Protection: Evaluating Safety Monitors Against Model Compliance [0.0]
セーフティモニタは、デプロイされた言語モデルに送られるスクリーンプロンプトを通知し、有害な要求を通知し、応答されないようにする。
それらは有害なラベルに対するリコールによって評価されるが、もしモデルがそうでなければ害を防げるだけである。
対象モデルからの繰り返し応答をサンプリングし、もしモデルが少なくとも一度は満たされた場合、有害なプロンプトを仮に呼び出すとともに、実行不可能なプロンプトに対して別々にリコールを報告します。
論文 参考訳（メタデータ） (2026-09-05T01:19:35Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift [0.0]
私は、ProtectAI-v2とPrompt-Guard-2チェックポイントの3つの放出検出器を1つのソース校正閾値で評価した。
重大度指標Sを報告し、検知器が犯した攻撃に対する自信と、偽陰性率と差別を報告します。
3つとも間接的行動ヒジャック注入を確実に通過し、2つのベンダーに共通する盲点と4倍の大きさの範囲を達成します。
論文 参考訳（メタデータ） (2026-06-21T20:30:12Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。
OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。
我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
論文 参考訳（メタデータ） (2025-06-17T17:59:31Z) - DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。
銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。
我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
論文 参考訳（メタデータ） (2025-05-29T02:22:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。