論文の概要: Poisoned into Action: Context Attacks on Typed Decision Workflows
- arxiv url: http://arxiv.org/abs/2610.15537v1
- Date: Sun, 11 Oct 2026 11:19:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 18:05:17.344724
- Title: Poisoned into Action: Context Attacks on Typed Decision Workflows
- Title（参考訳）: Poisoned into Action: 型決定ワークフローにおけるコンテキストアタック
- Abstract要約: 本稿では, 検索, モデル選択, 自動動作, 持続状態を通じて, 有毒な証拠をトレースする実行対応プロトコルを提案する。
正しいエビデンスを加えることで、セマンティックアームの119/120から55/120、中性アームの60/120から0への間違った実行が減少することを示す。
このプロトコルは、汚染によって引き起こされるエラーが実行に到達し、どの程度の正確な自動化防御が保持されるかを研究するための監査可能なフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 1.729483479508797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Typed decision interfaces restrict models to predefined actions, yet schema-valid choices can still trigger policy-violating state changes. Evaluating context poisoning thus requires connecting model decisions to execution outcomes while accounting for legitimate automation retained by defenses. We introduce an execution-aware protocol tracing poisoned evidence through retrieval, model choice, automated action, and persisted state. We evaluate it with 1,659 fresh calls to Jev-1.13.0 across 20 development tasks in two synthetic workflows, using three repetitions per condition. Under natural retrieval, a standalone payload reaches all 60 trials and produces five security-violating executions, while a carrier-payload pair exposes the payload in 57 trials and produces one violation. An initial source-exclusion gate blocks the pair's observed violation but also withholds ten otherwise correct attacked decisions and sixteen correct clean decisions. Correcting its empty-scope behavior restores twelve clean decisions without additional model calls. Factorial controls show that adding correct evidence reduces wrong executions from 119/120 to 55/120 in the semantic arm and from 60/120 to zero in the neutral arm, suggesting that much of the improvement reflects general evidence value rather than attack-specific protection. Three prespecified contrasts are not statistically supported after Holm correction, so the findings remain exploratory. The protocol provides an auditable framework for studying which poisoning-induced errors reach execution and how much correct automation defenses preserve. Code is available at https://github.com/WuXixiong/jev-poisoning-bench.
- Abstract（参考訳）: 型付き決定インターフェイスは、モデルを事前定義されたアクションに制限するが、スキーマ無効な選択は、ポリシーに違反する状態変更を引き起こす可能性がある。
したがって、コンテキスト中毒の評価には、モデル決定を実行結果に結びつけるとともに、防御が保持する合法的な自動化を考慮しなければならない。
本稿では, 検索, モデル選択, 自動動作, 持続状態を通じて, 有毒な証拠をトレースする実行対応プロトコルを提案する。
我々は、Jev-1.13.0を20の開発タスクで1,659回コールし、2つの合成ワークフローを条件ごとに3回繰り返して評価した。
自然回収では、スタンドアロンのペイロードが60回の試験すべてに到達し、5回のセキュリティ違反の実行を発生させ、一方、キャリアとペイロードのペアは57回の試験でペイロードを公開し、1回の違反を発生させる。
初期ソース排除ゲートは、ペアの観察された違反をブロックするが、他の方法では10の攻撃決定と16のクリーンな決定を控える。
空スコープの動作を修正することで、追加のモデルコールなしで12のクリーンな決定が復元される。
要因的制御は、正しいエビデンスを加えることで、セマンティックアームの119/120から55/120へ、中性アームの60/120から0への間違った実行が減少し、多くの改善が攻撃固有の保護よりも一般的なエビデンス価値を反映していることを示している。
ホルム補正後,3つの先行したコントラストは統計的に支持されないため,調査は継続されている。
このプロトコルは、汚染によって引き起こされるエラーが実行に到達し、どの程度の正確な自動化防御が保持されるかを研究するための監査可能なフレームワークを提供する。
コードはhttps://github.com/WuXixiong/jev-poisoning-bench.comで入手できる。
関連論文リスト
- Compromise Is Not Consequence: Evaluating Task-Scoped Authorization in LLM Agents with Paired Replay [0.0]
タスクスコープによる認証には,ツールの実行結果が含まれているかを検討する。
ペア化されたリプレイテストベッドはモデル要求を一度サンプリングし、同じアクション、リソース、引数を広義のJWT、送信者制限、オープンポリシーエージェントの条件に送信します。
論文 参考訳（メタデータ） (2026-10-05T05:47:08Z) - CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
論文 参考訳（メタデータ） (2026-09-29T02:51:31Z) - Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents [2.958094879300854]
ツールを使用する言語モデルエージェントの安全性は通常、モデルのみの特性として扱われる。
制御された完全精度の証拠は、そのモデルと、そのチャットテンプレートをレンダリングするソフトウェアの共同プロパティであることを示す。
論文 参考訳（メタデータ） (2026-09-23T08:33:47Z) - Guardrailed Meta-Agent Loops: Stress-Testing Policy Pinning, Budget Bounds, and Crash Recovery [7.414694666903067]
GuardrailLoopはシミュレーションベースのテストベッドで、3つの運用契約を共同でテスト可能にする。
ハッシュピン付ポリシーは、目標、スコープ、評価アイデンティティ、予算、リリース条件を修正します。
有用な適応、状態回復、反復実行を分離する。
論文 参考訳（メタデータ） (2026-09-10T21:22:08Z) - The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。
SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。
偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
論文 参考訳（メタデータ） (2026-05-12T20:21:47Z) - IMPACT-HOI: Supervisory Control for Onset-Anchored Partial HOI Event Construction [72.51952455865155]
我々は,エゴセントリックなプロシージャビデオに注釈を付けるための混合開始型フレームワークIMPACT-HOIを提案する。
IMPACT-HOIは、このタスクを部分的に指定され、オンセットされたイベント状態の漸進的な解決として捉えている。
9人の参加者によるユーザスタディでは、手動のアノテーションアクションが13.5%減少し、46.67%のイベントマッチレート、確認されたフィールド違反がゼロである。
論文 参考訳（メタデータ） (2026-05-03T01:37:40Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-04-14T06:48:33Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。