論文の概要: RiOSWorld: Benchmarking the Risk of Multimodal Compter-Use Agents
- arxiv url: http://arxiv.org/abs/2506.00618v1
- Date: Sat, 31 May 2025 16:04:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:33.293878
- Title: RiOSWorld: Benchmarking the Risk of Multimodal Compter-Use Agents
- Title（参考訳）: RiOSWorld:マルチモーダル計算エージェントのリスクのベンチマーク
- Authors: Jingyi Yang, Shuai Shao, Dongrui Liu, Jing Shao,
- Abstract要約: 実世界のコンピュータ操作におけるMLLMエージェントの潜在的なリスクを評価するためのベンチマークである textbfRiOSWorld を紹介する。
私たちのベンチマークには、Web、ソーシャルメディア、マルチメディア、os、Eメール、オフィスソフトウェアを含む、さまざまなコンピュータアプリケーションにまたがる492の危険タスクが含まれています。
評価には,リスク目標意図とリスク目標達成の2つの視点から安全リスクを評価する。
- 参考スコア（独自算出の注目度）: 20.512782598312555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of multimodal large language models (MLLMs), they are increasingly deployed as autonomous computer-use agents capable of accomplishing complex computer tasks. However, a pressing issue arises: Can the safety risk principles designed and aligned for general MLLMs in dialogue scenarios be effectively transferred to real-world computer-use scenarios? Existing research on evaluating the safety risks of MLLM-based computer-use agents suffers from several limitations: it either lacks realistic interactive environments, or narrowly focuses on one or a few specific risk types. These limitations ignore the complexity, variability, and diversity of real-world environments, thereby restricting comprehensive risk evaluation for computer-use agents. To this end, we introduce \textbf{RiOSWorld}, a benchmark designed to evaluate the potential risks of MLLM-based agents during real-world computer manipulations. Our benchmark includes 492 risky tasks spanning various computer applications, involving web, social media, multimedia, os, email, and office software. We categorize these risks into two major classes based on their risk source: (i) User-originated risks and (ii) Environmental risks. For the evaluation, we evaluate safety risks from two perspectives: (i) Risk goal intention and (ii) Risk goal completion. Extensive experiments with multimodal agents on \textbf{RiOSWorld} demonstrate that current computer-use agents confront significant safety risks in real-world scenarios. Our findings highlight the necessity and urgency of safety alignment for computer-use agents in real-world computer manipulation, providing valuable insights for developing trustworthy computer-use agents. Our benchmark is publicly available at https://yjyddq.github.io/RiOSWorld.github.io/.
- Abstract（参考訳）: MLLM(Multimodal large language model)の急速な発展に伴い、複雑なコンピュータタスクを達成できる自律型コンピュータ利用エージェントとして、ますます普及しつつある。
対話シナリオにおける一般的なMLLMの設計と整合性は、現実のコンピュータ利用シナリオに効果的に移行できるか?
MLLMをベースとしたコンピュータ使用エージェントの安全性リスク評価に関する既存の研究は、現実的なインタラクティブ環境が欠如している、あるいは特定のリスクタイプに限定している、いくつかの制限に悩まされている。
これらの制限は、現実世界の環境の複雑さ、多様性、多様性を無視し、コンピュータ利用エージェントの包括的なリスク評価を制限する。
この目的のために,実世界のコンピュータ操作におけるMLLMエージェントの潜在的なリスクを評価するためのベンチマークである \textbf{R iOSWorld} を導入する。
私たちのベンチマークには、Web、ソーシャルメディア、マルチメディア、os、Eメール、オフィスソフトウェアを含む、さまざまなコンピュータアプリケーションにまたがる492の危険タスクが含まれています。
我々はこれらのリスクをリスク源に基づいて2つの主要なクラスに分類する。
一 ユーザ指向のリスク及び
(二)環境リスク。
評価には,2つの視点から安全リスクを評価する。
一 目標の意図を危険にさらすこと
(二)目標達成のリスク。
マルチモーダルエージェントによる大規模な実験は、現在のコンピュータ利用エージェントが現実世界のシナリオにおいて重大な安全リスクに直面していることを示している。
本研究は,現実のコンピュータ操作におけるコンピュータ利用エージェントの安全性確保の必要性と緊急性を強調し,信頼性の高いコンピュータ利用エージェントを開発する上で貴重な洞察を提供するものである。
私たちのベンチマークはhttps://yjyddq.github.io/RiOSWorld.github.io/で公開されています。
関連論文リスト
- Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron? [30.063392019347887]
本稿では,EmphComputer-Using Agentsの安全性とセキュリティの脅威に関する知識の体系化について述べる。
CUAは、デスクトップアプリケーション、Webページ、モバイルアプリをナビゲートするなど、自律的にタスクを実行することができる。
論文 参考訳（メタデータ） (2025-05-16T06:56:42Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳（メタデータ） (2024-09-24T19:47:21Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments [87.41051677852231]
マルチモーダルエージェントのための,第1世代のスケーラブルな実コンピュータ環境であるOSWorldを紹介する。
OSWorldは、オープンエンドのコンピュータタスクを評価する統合されたコンピュータ環境として機能する。
オープンドメインの実際のWebおよびデスクトップアプリケーション、OSファイルI/O、複数のアプリケーションにまたがる369のコンピュータタスクのベンチマークを作成します。
論文 参考訳（メタデータ） (2024-04-11T17:56:05Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳（メタデータ） (2024-03-20T05:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。