論文の概要: Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents
- arxiv url: http://arxiv.org/abs/2610.18457v1
- Date: Tue, 13 Oct 2026 14:24:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 21:17:49.87949
- Title: Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents
- Title(参考訳): Kairos: LLMエージェントのシステム境界におけるトランザクションセキュリティの強化
- Abstract要約: 大規模言語モデル(LLM)エージェントは、ソフトウェア開発ライフサイクルの不可欠な部分になりつつある。
修正されていない不透明なエージェントの分離境界における参照モニタであるKairosを提示する。
どの情報源が信頼されているかを記述する宣言的政策は、ほとんどの効果を決定論的に決定し、残りを無視し、エージェントが投機的に継続する間に保持される。
- 参考スコア(独自算出の注目度): 10.493000314031077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are becoming an integral part of the software development lifecycle, and the capabilities granted to them allow an agent to act with the user's authority on any resource it can access. The reach that gives an agent its utility is equally available to an attacker who can steer it. Anything an agent ingests can carry an injected instruction, and since the model does not reliably distinguish instructions from data, indirect prompt injection should be mitigated by mediating the effects the agent produces. Such mediation faces a structural difficulty. Legitimate work and the first step of an attack often look alike when an individual action is observed, and what separates them lies later in the trace, so a monitor limited to allow and deny is forced to decide before the evidence accumulates. We present Kairos, a reference monitor at the isolation boundary of an unmodified, opaque agent, where a tool call, a shell command, and a script the agent writes all cross the boundary as the same file and network operations, so that confinement holds regardless of the agent's behavior. A declarative policy that states which sources are trusted decides most effects deterministically and defers the rest, which are held while the agent continues speculatively. A decision oracle with bounded authority, such as a language model or a human, releases or refuses each deferred effect on the trace. Across three benchmarks and three agent models, Kairos outperforms existing defenses in the trade-off between attack success and utility. In particular, on AgentDojo, it reduces attack success from 47.0\% to 2.7\% while its benign utility stays at the level of the undefended agent.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェントは、ソフトウェア開発ライフサイクルにおいて不可欠な部分となりつつある。
エージェントにそのユーティリティを与えるリーチは、それを操縦できるアタッカーにも等しく利用可能である。
エージェントが摂取する任意のものは、注入された命令を運ぶことができ、モデルがデータから命令を確実に区別しないため、間接的なプロンプト注入は、エージェントが生成する効果を仲介することによって緩和されるべきである。
このような調停は構造的な困難に直面している。
個別の行動が観察された際には、正規の作業と攻撃の第1段階がよく似ており、それらと区別するものがトレースに後から置かれているため、証拠が蓄積される前に、許可と否定に制限されたモニターが決定を迫られる。
ツールコールやシェルコマンド,スクリプトがすべて同じファイルやネットワーク操作としてバウンダリを越えて記述されるような,修正されていない不透明なエージェントのアイソレーションバウンダリにおける参照モニタであるKairosを紹介します。
どの情報源が信頼されているかを記述する宣言的政策は、ほとんどの効果を決定論的に決定し、残りを無視し、エージェントが投機的に継続する間に保持される。
言語モデルや人間のような有界な権威を持つ決定オラクルは、トレースに対するそれぞれの遅延効果を解放または拒否する。
3つのベンチマークと3つのエージェントモデルで、Kairosは攻撃の成功とユーティリティの間のトレードオフにおいて、既存の防御を上回ります。
特にAgentDojoでは、攻撃の成功を47.0\%から2.7\%に減らし、その良質なユーティリティは未定義のエージェントのレベルに留まる。
関連論文リスト
- The Troy Moment of AI: Why Some Will Cheat and Some Will Follow? [0.0]
エージェントは停止するか、エスカレートするか、他のエージェントの行動が決定を変えるか、という2つの質問を調査する。
GPT-5.6 Sol, Claude Fable 5.1, Gemini 3.8 Flashの7つのImpossibleBenchタスクを単独で3エージェント設定で検討した。
この結果から,ルールの保護を目的としたあいまいさ,明示的な認証境界のモチベーション,認証状態の証明,エージェント間監視から境界交差が生じる可能性が示唆された。
論文 参考訳(メタデータ) (2026-09-14T12:46:45Z) - Governed Individuation: Cryptographically Decoupling an Agent's Learning from Its Authority [7.392721604463545]
制限はエージェントの実行アーキテクチャの不変として保証できることを示す。
学習量やスキル獲得量、自己引き起こされるガバナンスの抽象化がエージェントの許可された権限を広げることはできないことを証明します。
論文 参考訳(メタデータ) (2026-07-06T02:42:06Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳(メタデータ) (2026-06-22T11:36:58Z) - Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-27T09:25:37Z) - Who Owns This Agent? Tracing AI Agents Back to Their Owners [7.444382451377645]
AIエージェントはますます、世界で自律的に行動するようにデプロイされている。
悪意あるエージェントを、それをデプロイしたアカウントに遡る信頼できる方法はまだない。
この問題を定義し、実用的な解決策を提示する最初の試みである。
論文 参考訳(メタデータ) (2026-05-15T15:10:33Z) - AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification [25.817251923574286]
大規模言語モデル(LLM)エージェントのための新しい推論時間検出・緩和フレームワークを提案する。
AgentSentryは、時間的因果的テイクオーバーとしてマルチターンIPIをモデル化する最初の推論時防御である。
我々は, textscAgentDojo ベンチマークにおいて, 4つのタスクスイート, 3つの IPI 攻撃ファミリー, 複数のブラックボックス LLM に対する AgentSentry の評価を行った。
論文 参考訳(メタデータ) (2026-02-26T07:59:10Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳(メタデータ) (2026-02-08T11:34:08Z) - BackdoorAgent: A Unified Framework for Backdoor Attacks on LLM-based Agents [58.83028403414688]
大規模言語モデル(LLM)エージェントは、計画、メモリ、ツールの使用を組み合わせた多段階ワークフローを通じてタスクを実行する。
エージェントワークフローの特定のステージに注入されたバックドアトリガーは、複数の中間状態を通して持続し、下流出力に悪影響を及ぼす可能性がある。
LLMエージェントにおけるバックドア脅威を統一したエージェント中心のビューを提供するモジュールおよびステージアウェアフレームワークである textbfBackdoorAgent を提案する。
論文 参考訳(メタデータ) (2026-01-08T03:49:39Z) - AgentArmor: Enforcing Program Analysis on Agent Runtime Trace to Defend Against Prompt Injection [14.522205401511727]
大きな言語モデル(LLM)エージェントは、自然言語推論と外部ツールの実行を組み合わせることで、さまざまな問題を解決するための強力な新しいパラダイムを提供する。
本研究では,エージェントランタイムトレースを解析可能なセマンティクスを用いた構造化プログラムとして扱う新しい知見を提案する。
本稿では,エージェントトレースをグラフ中間表現に基づく構造化プログラム依存表現に変換するプログラム解析フレームワークであるAgentArmorを提案する。
論文 参考訳(メタデータ) (2025-08-02T07:59:34Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。