論文の概要: Step-Zero Attack: Agent Safety Before Observability
- arxiv url: http://arxiv.org/abs/2611.01953v1
- Date: Sun, 01 Nov 2026 14:33:09 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:09:34.867894
- Title: Step-Zero Attack: Agent Safety Before Observability
- Title（参考訳）: Step-Zero攻撃: 監視不能前のエージェントの安全性
- Abstract要約: コーディングエージェントは、任意のコンテンツがモデルに到達する前に、未知のアーカイブ、ネットワーク応答、イメージを処理しなければならないことが多い。
7つのハーネスと6つのモデルにまたがって、各エージェントは工芸的な入力へのパスまたはURLのみを受け取り、同じ可視界を示す良心的なツインとペアを組んだ。
私たちはこの最初の処理をStep Zeroと呼び、Step-Zero攻撃によって害を与えます。
- 参考スコア（独自算出の注目度）: 21.181438968520744
- License:
- Abstract: Existing attacks and defenses for coding agents act once content enters the model context: injected text persuades the model, and guards inspect what the model reads. Yet to judge whether processing an unknown archive, network response, or image is safe, an agent often must process it first, and that step can do harm before any content reaches the model. We call this first processing Step Zero, and harm done by it a Step-Zero attack. Across seven harnesses and six models, each agent received only a path or URL to a crafted input, paired with a benign twin showing the same visible fields. Step Zero is where most agents are already unsafe: 32/42 harness-model pairs overran a 4 MiB disk budget, 26/42 before the model saw any member, and four of the six models did so in every round (84/84), so the damage precedes any model-side defense. Every twin stayed within budget, so the attacker's bytes alone cause the harm. On network and image inputs the risk moves to what the agent writes: agents stored the body under the name the input declared, letting the input decide what is written, and their checks faded once cues were removed. Model-free tests trace the harm to the processing primitive, so we defend it there: a gate that counts the bytes each call produces held every routed extraction within budget while agents completed 25/28 tasks. Vendors should pair such gates with safety-alignment training that teaches agents to inspect an input before processing it.
- Abstract（参考訳）: 既存のコーディングエージェントに対する攻撃と防御は、コンテンツがモデルコンテキストに入ると作用する。
しかし、未知のアーカイブやネットワーク応答、イメージの処理が安全かどうかを判断するためには、エージェントが最初にそれを処理しなければなりません。
私たちはこの最初の処理をStep Zeroと呼び、Step-Zero攻撃によって害を与えます。
7つのハーネスと6つのモデルにまたがって、各エージェントは工芸的な入力へのパスまたはURLのみを受け取り、同じ可視界を示す良心的なツインとペアを組んだ。
32/42 ハーネス・モデル・ペアは4MiBディスクの予算を超過し、26/42 はメンバーが登場する前に、そして6つのモデルのうち4 つは各ラウンド (84/84) で損傷を受けたため、損傷はモデル側の防御に先行した。
全ての双子は予算内に留まっていたので、攻撃者のバイトだけが損害を引き起こした。
エージェントは入力が宣言された名前の下に身体を保存し、入力が書かれたことを判断し、キューが削除されるとチェックが消える。
エージェントが25/28タスクを完了している間、各呼び出しが生成するバイト数をカウントするゲートが予算内ですべてのルート抽出を保持します。
ベンダーは、そのようなゲートを、エージェントに処理前に入力を検査するように指示する安全調整トレーニングと組み合わせるべきである。
関連論文リスト
- Four Bridges: Measuring Deception Propensity in a Multi-Agent Game [0.0]
本研究では, マルチエージェントインタラクションにおいて, 偽装の指示を伴わずに現れる偽装について検討する。
我々は,AIモデルを評価するプラットフォームであるKradleと,情報非対称性ゲームであるFour Bridgesを紹介する。
論文 参考訳（メタデータ） (2026-11-02T18:40:47Z) - Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation [62.55752327741587]
RoboDojoでは、大きな計画と実行のギャップが、高レベルのタスク決定と物理的実行を分離します。
目標タスクやリセットを伴わないゼロショット操作において,このギャップの68.3%を埋めるタスク非依存のエージェントハーネスであるAurigaを紹介する。
論文 参考訳（メタデータ） (2026-10-31T16:59:05Z) - Agent Safety From Within: Detecting Harmful Trajectories from LLM Internal States [9.757929981610632]
我々は、有害なコンテンツと安全でないツールの使用という、2種類のトラジェクトリレベルのエージェント害に焦点を当てる。
オープンソースガードモデルがこれらの2種類の害をどのように表現しているかを調査し、モデル内で線形に読み取ることができることを示す。
フリーズバックボーンの内部状態の読み出しであるTACITを導入し、トークンをデコードしない。
論文 参考訳（メタデータ） (2026-09-27T00:09:10Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳（メタデータ） (2026-09-26T15:06:44Z) - Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents [2.958094879300854]
ツールを使用する言語モデルエージェントの安全性は通常、モデルのみの特性として扱われる。
制御された完全精度の証拠は、そのモデルと、そのチャットテンプレートをレンダリングするソフトウェアの共同プロパティであることを示す。
論文 参考訳（メタデータ） (2026-09-23T08:33:47Z) - Coding Agents with an Obstacle-Aware Harness for Safe Robot Manipulation [25.388350905374054]
コーディングエージェントはロボット操作のための有望なパラダイムとして登場した。
我々は,ロボットが触れるべきでない障害物と,各タスクが操作目標をペアリングする安全制約の下でそれらを評価した。
本稿では、安全制約の優先順位付けを可能にする2つの障害物認識ハーネスをモデルに装備するSafeHarnessを提案する。
論文 参考訳（メタデータ） (2026-09-17T17:59:58Z) - An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks [0.0]
次に何が起こるかを測定する再現可能なベンチマークであるMMPIBenchを紹介する。
6つのビジュアルキャリア(OCRテキスト、オーバーレイ、EXIFメタデータ、QRコード、フェイクインターフェース、ハイブリッド)を通じて、一定の攻撃セットを提供する。
攻撃は約1%で終了するが、12.8%で試みられ、そのギャップは計画段階でほぼ完全に閉鎖される。
論文 参考訳（メタデータ） (2026-09-08T20:00:03Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳（メタデータ） (2026-03-16T14:49:36Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - Defending against Model Stealing via Verifying Embedded External
Features [90.29429679125508]
トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。
我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。
本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
論文 参考訳（メタデータ） (2021-12-07T03:51:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。