論文の概要: Control OSWorld: An AI Control Environment for GUI Computer Use Agents
- arxiv url: http://arxiv.org/abs/2610.03818v1
- Date: Fri, 02 Oct 2026 00:31:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 05:02:42.164486
- Title: Control OSWorld: An AI Control Environment for GUI Computer Use Agents
- Title（参考訳）: Control OSWorld:GUIコンピュータ使用エージェントのためのAI制御環境
- Abstract要約: グラフィカルユーザインタフェース(GUI)と相互作用する悪意のあるエージェントを検出する制御モニタについて検討する。
より弱いモニターは、より有能なエージェントが生成する悪質なトラジェクトリと、完全なトラジェクトリとを確実に区別することができる。
- 参考スコア（独自算出の注目度）: 1.8416014644193066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents that operate a computer through its graphical user interface (GUI) are being widely deployed. AI control studies how to prevent an AI system from causing harm even if it is misaligned and actively trying to do so. Most control research to date has focused on coding agents, leaving computer use largely unexplored. We introduce Control OSWorld, a control evaluation that pairs 318 tasks from OSWorld with 81 harmful side tasks (e.g., exfiltrating a private file) that an agent must complete without being caught. We use Control OSWorld to create and study control monitors that detect malicious agents interacting with a GUI. We find that a weaker monitor can reliably distinguish honest from malicious trajectories produced by a more capable agent when it sees the full trajectory (97% recall at 3% false positive rate). However, when the monitor has to score each step before it is executed, recall drops at low false positive rates because each action is judged with less context. Monitor performance also depends on what the monitor can see: access to the agent's visible text is critical, while screenshots provide little additional value.
- Abstract（参考訳）: コンピュータをグラフィカルユーザインタフェース(GUI)を介して操作するAIエージェントが広くデプロイされている。
AIコントロールは、不正に調整され、積極的にそうしようとする場合でも、AIシステムが害を引き起こすのを防ぐ方法を研究している。
現在まで、ほとんどの制御研究はコーディングエージェントに焦点を合わせており、コンピュータの使用はほとんど未調査のままである。
エージェントがキャッチされずに完了しなければならない81の有害なサイドタスク(例えば、プライベートファイルのフィルタリング)と318のタスクをペアリングするコントロールOSWorldを紹介します。
コントロールOSWorldを使って、GUIと対話する悪意のあるエージェントを検出するコントロールモニターを作成し、研究する。
より弱いモニターは、完全な軌道(3%の偽陽性率で97%のリコール)を見れば、より有能なエージェントが生み出す悪意のある軌跡と確実に区別できる。
しかし、モニタが実行前に各ステップにスコアを付けなければならない場合、各アクションがより少ないコンテキストで判断されるため、低い偽陽性率でリコールが行われる。
エージェントの可視テキストへのアクセスは重要であり、スクリーンショットには付加価値はほとんどない。
関連論文リスト
- hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳（メタデータ） (2026-10-02T09:35:59Z) - AgentGUI: An Interface for Observing and Steering Long-Running AI Agents [3.2387066735835273]
AgentGUIはユーザーフレンドリーで、ローカルにホストされた、AIエージェントをシームレスに観察し、操るGUIである。
制御されたユーザスタディは、エージェントトレースからキー要素を特定するのに要する時間の統計的に顕著な減少を示す。
予備的な実験では、AgentGUIの自動ドリフト防止機能は、0.8B--9Bモデルラグを越えて34ppの小さなローカルエージェントのタスク完了率を高める。
論文 参考訳（メタデータ） (2026-07-28T21:47:22Z) - ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D [11.818511808737037]
我々はResearchArenaを用いた自動AI研究開発のためのAI制御の評価を行った。
メインタスクと2種類の隠れサイドタスクをペアにします。
トレーニングデータに隠されたサボタージュは、最もキャッチが難しいのです。
論文 参考訳（メタデータ） (2026-07-21T17:41:12Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - Async Control: Stress-testing Asynchronous Control Measures for LLM Agents [2.7146936326590425]
非同期モニタリングにおいて,モニタリングシステムがエージェントの動作を後回しにレビューする手法について検討する。
同期監視とは異なり、このアプローチは実行時のレイテンシを課すことなく、不可逆的な害が起こる前に攻撃を妨害しようとする。
私たちは、モニター開発を、ブルーチーム(モニターを設計する)とレッドチーム(破壊エージェントを作成する)の敵対的なゲームとして扱う。
論文 参考訳（メタデータ） (2025-12-15T16:56:28Z) - VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation [73.92237451442752]
この研究は、GUI要素に対するGUIエージェントをマッピングするテキストプランの視覚的基盤が脆弱性をもたらすことを明らかにしている。
視覚的接地を目的としたバックドア攻撃では、適切なタスク解決計画が与えられた場合でもエージェントの行動が損なわれる可能性がある。
そこで我々は,エージェントが意図したターゲットではなく,意図した位置をトリガーするテキストプランを見つけることをミスリードすることで,グラウンドディングをハイジャックできるVisualTrapを提案する。
論文 参考訳（メタデータ） (2025-07-09T14:36:00Z) - OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。
OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。
我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
論文 参考訳（メタデータ） (2025-06-17T17:59:31Z) - VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。
我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。
実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
論文 参考訳（メタデータ） (2025-06-03T05:21:50Z) - ScreenAgent: A Vision Language Model-driven Computer Control Agent [17.11085071288194]
視覚言語モデル(VLM)エージェントが実際のコンピュータ画面と対話する環境を構築する。
この環境では、エージェントは、マウスとキーボードのアクションを出力することで、スクリーンショットを観察し、GUI(Graphics User Interface)を操作することができる。
そこで,ScreenAgentデータセットを構築し,様々なコンピュータタスクの完了時にスクリーンショットとアクションシーケンスを収集する。
論文 参考訳（メタデータ） (2024-02-09T02:33:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。