論文の概要: CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents

• arxiv url: http://arxiv.org/abs/2601.09923v1
• Date: Wed, 14 Jan 2026 23:06:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:18.915249
• Title: CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents
• Title（参考訳）: CaMeLsもコンピューターを使える:コンピュータ利用エージェントのためのシステムレベルのセキュリティ
• Authors: Hanna Foerster, Robert Mullins, Tom Blanchard, Nicolas Papernot, Kristina Nikolić, Florian Tramèr, Ilia Shumailov, Cheng Zhang, Yiren Zhao,
• Abstract要約: AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。 CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。 このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
• 参考スコア（独自算出の注目度）: 60.98294016925157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents are vulnerable to prompt injection attacks, where malicious content hijacks agent behavior to steal credentials or cause financial loss. The only known robust defense is architectural isolation that strictly separates trusted task planning from untrusted environment observations. However, applying this design to Computer Use Agents (CUAs) -- systems that automate tasks by viewing screens and executing actions -- presents a fundamental challenge: current agents require continuous observation of UI state to determine each action, conflicting with the isolation required for security. We resolve this tension by demonstrating that UI workflows, while dynamic, are structurally predictable. We introduce Single-Shot Planning for CUAs, where a trusted planner generates a complete execution graph with conditional branches before any observation of potentially malicious content, providing provable control flow integrity guarantees against arbitrary instruction injections. Although this architectural isolation successfully prevents instruction injections, we show that additional measures are needed to prevent Branch Steering attacks, which manipulate UI elements to trigger unintended valid paths within the plan. We evaluate our design on OSWorld, and retain up to 57% of the performance of frontier models while improving performance for smaller open-source models by up to 19%, demonstrating that rigorous security and utility can coexist in CUAs.
• Abstract（参考訳）: AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。 唯一知られている堅牢な防御は、信頼できない環境観測から信頼されたタスク計画を厳密に分離するアーキテクチャ隔離である。 しかし、現在のエージェントは、各アクションを決定するためにUI状態の継続的な観察を必要とし、セキュリティに必要な分離と矛盾する。 UIワークフローは動的ではあるが構造的に予測可能であることを示すことで、この緊張を解消します。 CUAのシングルショットプランニングでは、悪意のあるコンテンツの観察の前に、信頼できるプランナーが条件付き分岐を持つ完全な実行グラフを生成し、任意のインジェクションに対して制御フローの完全性を保証する。 このアーキテクチャ分離はインストラクションインジェクションを効果的に阻止するが、計画内の意図しない有効なパスをトリガーするためにUI要素を操作するブランチステアリング攻撃を防止するために追加の措置が必要であることを示す。 我々はOSWorldの設計を評価し、フロンティアモデルの性能の最大57%を維持しながら、より小さなオープンソースモデルの性能を最大19%向上させ、厳密なセキュリティとユーティリティがCUAで共存できることを実証した。

関連論文リスト

• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• Cognitive Control Architecture (CCA): A Lifecycle Supervision Framework for Robustly Aligned AI Agents [1.014002853673217]
  LLMエージェントはIPI(Indirect Prompt Injection)攻撃に対して脆弱である。 IPIは外部情報ソースを汚染することでハイジャックエージェントの動作を攻撃している。 本稿では,全ライフサイクルの認知管理を実現するための総合的な枠組みである認知制御アーキテクチャ(CCA)を提案する。
  論文  参考訳（メタデータ） (2025-12-07T08:11:19Z)
• Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? [58.48689960350828]
  エージェントインタフェースにおけるシンプルでモジュール的で,モデルに依存しないディフェンスが,高ユーティリティで完全なセキュリティを実現することを示す。 ツール入力ファイアウォール(最小限のファイアウォール)とツール出力ファイアウォール(サニタイザ)の2つのファイアウォールをベースとしたディフェンスを採用している。
  論文  参考訳（メタデータ） (2025-10-06T18:09:02Z)
• IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents [33.775221377823925]
  大規模言語モデル(LLM)エージェントは現実世界のアプリケーションに広くデプロイされており、複雑なタスクのために外部データを検索し操作するためのツールを活用している。 信頼できないデータソースと対話する場合、ツールレスポンスには、エージェントの動作に秘密裏に影響を与え、悪意のある結果をもたらすインジェクションが含まれている可能性がある。 我々はIPIGuardと呼ばれる新しい防御タスク実行パラダイムを提案し、ソースにおける悪意あるツール呼び出しを防止する。
  論文  参考訳（メタデータ） (2025-08-21T07:08:16Z)
• A Systematization of Security Vulnerabilities in Computer Use Agents [1.3560089220432787]
  我々は、現実のCUAのシステム的脅威分析と、敵条件下でのテストを行う。 CUAパラダイム特有のリスクのクラスを7つ同定し、3つの具体的なエクスプロイトシナリオを詳細に分析する。 これらのケーススタディは、現在のCUA実装にまたがるより深いアーキテクチャ上の欠陥を明らかにします。
  論文  参考訳（メタデータ） (2025-07-07T19:50:21Z)
• DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
  大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。 この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。 本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T05:01:09Z)
• Safe RAN control: A Symbolic Reinforcement Learning Approach [62.997667081978825]
  本稿では,無線アクセスネットワーク(RAN)アプリケーションの安全管理のためのシンボル強化学習(SRL)アーキテクチャを提案する。 我々は、ユーザが所定のセルネットワークトポロジに対して高レベルの論理的安全性仕様を指定できる純粋に自動化された手順を提供する。 ユーザがシステムに意図仕様を設定するのを支援するために開発されたユーザインターフェース(UI)を導入し、提案するエージェントの動作の違いを検査する。
  論文  参考訳（メタデータ） (2021-06-03T16:45:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。