論文の概要: OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents

• arxiv url: http://arxiv.org/abs/2506.14866v1
• Date: Tue, 17 Jun 2025 17:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.44207
• Title: OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents
• Title（参考訳）: OS-Harm: コンピュータ使用エージェントの安全性測定ベンチマーク
• Authors: Thomas Kuntz, Agatha Duzan, Hao Zhao, Francesco Croce, Zico Kolter, Nicolas Flammarion, Maksym Andriushchenko,
• Abstract要約: コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。 OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。 我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 34.396536936282175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer use agents are LLM-based agents that can directly interact with a graphical user interface, by processing screenshots or accessibility trees. While these systems are gaining popularity, their safety has been largely overlooked, despite the fact that evaluating and understanding their potential for harmful behavior is essential for widespread adoption. To address this gap, we introduce OS-Harm, a new benchmark for measuring safety of computer use agents. OS-Harm is built on top of the OSWorld environment and aims to test models across three categories of harm: deliberate user misuse, prompt injection attacks, and model misbehavior. To cover these cases, we create 150 tasks that span several types of safety violations (harassment, copyright infringement, disinformation, data exfiltration, etc.) and require the agent to interact with a variety of OS applications (email client, code editor, browser, etc.). Moreover, we propose an automated judge to evaluate both accuracy and safety of agents that achieves high agreement with human annotations (0.76 and 0.79 F1 score). We evaluate computer use agents based on a range of frontier models - such as o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - and provide insights into their safety. In particular, all models tend to directly comply with many deliberate misuse queries, are relatively vulnerable to static prompt injections, and occasionally perform unsafe actions. The OS-Harm benchmark is available at https://github.com/tml-epfl/os-harm.
• Abstract（参考訳）: コンピュータ利用エージェントはLCMベースのエージェントで、スクリーンショットやアクセシビリティツリーを処理してグラフィカルユーザインタフェースと直接対話することができる。 これらのシステムは普及しているが、有害な行動の可能性を評価し、理解することが広く普及するのに不可欠であるにもかかわらず、その安全性はほとんど見過ごされている。 このギャップに対処するために、コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。 OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。 これらのケースをカバーするために、150のタスクを作成します。これは、いくつかの種類の安全侵害(嫌がらせ、著作権侵害、偽情報、データ消去など)にまたがって、エージェントがさまざまなOSアプリケーション(電子メールクライアント、コードエディタ、ブラウザなど)と対話することが必要です。 また,人間のアノテーション(0.76点,0.79点,F1点)との一致度の高いエージェントの精度と安全性を評価する自動判断器を提案する。 我々は,O4-mini,Claude 3.7 Sonnet,Gemini 2.5 Proなどのフロンティアモデルに基づいてコンピュータ使用エージェントを評価し,安全性に関する洞察を提供する。 特に、すべてのモデルは、多くの故意の誤用クエリに直接準拠する傾向があり、静的なプロンプトインジェクションに対して比較的脆弱であり、時には安全でないアクションを実行する。 OS-Harmベンチマークはhttps://github.com/tml-epfl/os-harmで公開されている。

関連論文リスト

• VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
  完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。 我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。 実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T05:21:50Z)
• Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
  本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。 GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。 GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
  論文  参考訳（メタデータ） (2025-02-23T23:35:15Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。