論文の概要: Compositional Threat Analysis of Latent Compromise in LLM Agent Systems: The Order 66 Scenario

• arxiv url: http://arxiv.org/abs/2608.08131v1
• Date: Sat, 08 Aug 2026 13:35:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.691031
• Title: Compositional Threat Analysis of Latent Compromise in LLM Agent Systems: The Order 66 Scenario
• Title（参考訳）: LLMエージェントシステムにおける潜時競合の組成脅威解析:66次シナリオ
• Abstract要約: 本稿では,この機構をツール利用大規模言語モデル(LLM)エージェントの起点中性セキュリティ解析に変換する。 代表的なシナリオは、デプロイされたアーティファクトまたは共有メモリに、休眠中の破壊的なルールと、それを起動する後続の電子メール、ドキュメント、更新、あるいはピアメッセージと、運用と回復の権限を付与するエージェントを組み合わせたものである。
• 参考スコア（独自算出の注目度）: 1.5752282186775997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the fictional Order 66, catastrophe does not arise from a powerful command alone: a trusted population is preconditioned, a short directive activates the concealed condition, and protective authority turns against the system. This paper translates that mechanism into an origin-neutral security analysis of tool-using large language model (LLM) agents. A representative scenario combines a deployed artifact or shared memory bearing a dormant destructive rule, a later email, document, update, or peer message that activates it, and an agent harness granting operational and recovery authority. We introduce a compositional model explaining why no component is catastrophic alone, yet their conjunction can produce correlated destructive action. We separate three population-reach routes --- release-time pre-positioning, post-release durable seeding, and peer replication --- from a common core of dormancy, activation, authority, reachable targets, and failed recovery. This yields defensive cut sets and shows why checkpoint scanning or prompt filtering cannot close every route. A two-class example shows that cross-class feedback can sustain spread even when both within-class reproduction terms are below one; isolation and persistence controls suppress the loop. Published work instantiates constituent mechanisms, while incidents demonstrate autonomous boundary crossing, malicious agent extensions, agent-assisted reconnaissance, and public-package propagation, but not the full dormant-implant composition. We found no public observation, in evidence reviewed through 5 August 2026, traversing the complete Order 66 graph. The result is neither dismissal nor prediction: the scenario is componentwise credible under stated assumptions, damage depends on the harness, and the strongest defenses are capability mediation, durable-state provenance, propagation isolation, and protected recovery.
• Abstract（参考訳）: 架空の第66条では、災害は強力な命令だけで発生せず、信頼された人口が事前条件付き、短い指令が隠された条件を活性化し、保護当局がシステムに反する。 本稿では,この機構をツール利用大規模言語モデル(LLM)エージェントの起点中性セキュリティ解析に変換する。 代表的なシナリオは、デプロイされたアーティファクトまたは共有メモリに、休眠中の破壊的なルールと、それを起動する後続の電子メール、ドキュメント、更新、あるいはピアメッセージと、運用と回復の権限を付与するエージェントを組み合わせたものである。 成分が破滅的でない理由を説明する構成モデルを導入するが, それらの組み合わせは相関する破壊作用を生じさせる。 私たちは、休眠、アクティベーション、権威、到達可能な目標、回復の失敗という共通のコアから、リリース時のプリポジション、リリース後の耐久性のあるシード、ピアレプリケーションという3つの人口削減ルートを分離しました。 これにより防御カットセットが得られ、なぜチェックポイントスキャンやプロンプトフィルタリングが全てのルートを閉鎖できないのかを示す。 2クラスの例では、クラス内の再現用語がどちらも1以下である場合でも、クラス間のフィードバックがスプレッドを持続できることを示している。 出版された作業は構成機構をインスタンス化し、インシデントは自律的な境界交差、悪意のあるエージェント拡張、エージェント支援偵察、そして公開パッケージの伝播を示すが、休眠を前提とした完全な構成は示さない。 我々は、2026年8月5日までに行われた、完全なオーダー66グラフを横断する証拠として、公的な観察は見つからなかった。 シナリオは、記述された前提の下でコンポーネント的に信頼性があり、損傷はハーネスに依存し、最も強い防御力は、能力の仲介、耐久性のある状態の証明、伝播の隔離、保護された回復である。

関連論文リスト

• TrojanWorld: Backdooring World-Model Agents via Imagination Steering [65.38754125569848]
  TrojanWorldは、世界モデルエージェントのためのバックドアフレームワークで、内部の想像力を操ることで攻撃者が特定した振る舞いを誘導する。 トリガーアクティベーションの下では、トロイジャンワールドは0.026までの目標アクション偏差を達成し、対応するクリーンパフォーマンスの少なくとも98.8%を維持している。
  論文  参考訳（メタデータ） (2026-09-07T05:14:10Z)
• Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense [49.05879299987137]
  言語モデリングの損失の低減は、より有用なモデルを生み出します。 本研究は,このメカニズムの安全性について,独立した相互作用を通じて,良質なサブクエリが要求され,後に禁忌の対象へと再帰される,エンフクロス・セッション分解攻撃(enmphcross-session decomposition attack)における研究である。 我々は、この設定をEmphcompositional safety riskとして定式化し、条件付きリスク-転送境界を証明する。
  論文  参考訳（メタデータ） (2026-08-28T05:39:29Z)
• Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents [16.24087700490158]
  大規模言語モデルエージェントは、自律ループとしてますますデプロイされる。 これは実装の詳細ではなく、構成の失敗であることを示す。 LoopHarnessは、ループレベルでの永続的非遅延安全状態を復元する。
  論文  参考訳（メタデータ） (2026-08-27T13:52:31Z)
• HANSARD: A Reference Architecture for Forensic Readiness, Runtime Witnessing, and Graded Attribution in Autonomous Multi-Agent AI Systems [3.7015952547586832]
  現在、自律型マルチエージェントシステムは、金融、ソフトウェアサプライチェーン、セキュリティオペレーションで機能している。 何が起きたのか、何を引き起こしたのか、誰が責任を負うのかをしっかりと決める方法はありません。 これは、証明法医学が間違った抽象化で機能し、形式的因果関係は因果関係を仮定し、エージェント監査は自己記録を信頼するからである。 ターゲットの障害モードは、帰属的な洗浄であり、いかなる原因にもならないまで、冗長なエージェントに作用を広げる。 本稿では,説明責任をライフサイクル特性として扱う参照アーキテクチャであるHANSARDを提案する。
  論文  参考訳（メタデータ） (2026-08-23T17:18:22Z)
• The LLM Proposes, the Executive Disposes: A Self-Verifying Agent Instrument that Dissociates Commitment Drift from Binding Drift in Long-Horizon Agents [0.0]
  本稿では,ポストホックではなく構造的検証を行うためのエージェント機器を提案する。 組織ごとの書き込みエラー、レンダリングサイズ、あるいは塩漬けのカナリアエチョフロアが破られた場合、実行はすべて無効になる。 長期のエージェントが苦しむたびに、クリーンでシングル変数の結果が報告される。
  論文  参考訳（メタデータ） (2026-08-04T15:10:37Z)
• When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
  ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。 我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。 クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
  論文  参考訳（メタデータ） (2026-08-02T08:38:44Z)
• Safety Invariants for Agents Orchestrating Irreversible State Transitions: A Four-Dimensional Formalism Evaluated on Public Ledgers [0.0]
  フォーマリズムを使って、実行忠実性( executionfidelity)と呼ばれる保証を記述し、証明します。 7つの安全不変量は、経験から数えられるのではなく、忠実性条件に由来するもので、保証を解除する。 システムはデプロイされ、8つのチェーンにまたがる108のプロダクション書き込み操作によって、障害分類が復活する。
  論文  参考訳（メタデータ） (2026-08-01T17:29:42Z)
• Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
  ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。 本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。 本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
  論文  参考訳（メタデータ） (2026-07-20T17:01:50Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• Interpretation, Learning, and Empathy as One Constraint: A Residual-Adequacy Architecture with Accountable Abstention [0.0]
  一つの量から限界が生じる小さな認知アーキテクチャを開発する。 解釈決定ユニット(IDU)は、コンテントベクトルをレギュレーションのファミリを通じて解釈し、ライセンスするアクションを決定する。 任意のコンテンツと固定構成に対して、ユニークな端末証人を持つ有限個の有界コストステップで停止する。
  論文  参考訳（メタデータ） (2026-05-24T10:57:28Z)
• PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
  5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。 PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
  論文  参考訳（メタデータ） (2026-05-12T04:59:47Z)
• When Routine Chats Turn Toxic: Unintended Long-Term State Poisoning in Personalized Agents [16.57930301062107]
  textbfStateGuardはライトウェイトでポスト実行後のディフェンスで、書き込みバウンダリで状態差を監査し、危険な編集を選択的にロールバックする。 StateGuardは、安全第一の書き込み防衛と最小限のオーバーヘッドの下で、HSをほぼゼロ、偽陰性に減らし、高い偽陽性率を許容できることを示す。
  論文  参考訳（メタデータ） (2026-05-07T12:25:16Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
  ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。 本稿では,選択防衛フレームワークCausalArmorを提案する。 AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
  論文  参考訳（メタデータ） (2026-02-08T11:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。