論文の概要: ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents
- arxiv url: http://arxiv.org/abs/2410.06703v1
- Date: Thu, 10 Oct 2024 09:38:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 04:10:03.586694
- Title: ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents
- Title（参考訳）: ST-WebAgentBench: Webエージェントの安全性と信頼性を評価するベンチマーク
- Authors: Ido Levy, Ben Wiesel, Sami Marreed, Alon Oved, Avi Yaeli, Segev Shlomov,
- Abstract要約: 本稿では,企業におけるWebエージェントの安全性と信頼性を評価するためのベンチマークであるST-WebAgentBenchを紹介する。
我々の評価は、現在のSOTAエージェントが政策遵守に苦慮し、重要なビジネスアプリケーションにはまだ頼っていないことを示している。
本稿では,Webエージェントのポリシー意識とコンプライアンス向上を目的としたアーキテクチャ原則を提案する。
- 参考スコア（独自算出の注目度）: 3.09793323158304
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advancements in LLM-based web agents have introduced novel architectures and benchmarks showcasing progress in autonomous web navigation and interaction. However, most existing benchmarks prioritize effectiveness and accuracy, overlooking crucial factors like safety and trustworthiness which are essential for deploying web agents in enterprise settings. The risks of unsafe web agent behavior, such as accidentally deleting user accounts or performing unintended actions in critical business operations, pose significant barriers to widespread adoption.In this paper, we present ST-WebAgentBench, a new online benchmark specifically designed to evaluate the safety and trustworthiness of web agents in enterprise contexts. This benchmark is grounded in a detailed framework that defines safe and trustworthy (ST) agent behavior, outlines how ST policies should be structured and introduces the Completion under Policies metric to assess agent performance. Our evaluation reveals that current SOTA agents struggle with policy adherence and cannot yet be relied upon for critical business applications. Additionally, we propose architectural principles aimed at improving policy awareness and compliance in web agents. We open-source this benchmark and invite the community to contribute, with the goal of fostering a new generation of safer, more trustworthy AI agents.
- Abstract（参考訳）: LLMベースのWebエージェントの最近の進歩は、自律的なWebナビゲーションとインタラクションの進歩を示す新しいアーキテクチャとベンチマークを導入している。
しかし、既存のベンチマークのほとんどは、エンタープライズ環境でWebエージェントをデプロイするのに不可欠な安全性や信頼性といった重要な要素を克服して、有効性と正確性を優先している。
本稿では, ユーザアカウントを誤って削除したり, 重要な業務で意図せぬ行動を行ったりするといった, 安全でないWebエージェントの行動のリスクについて, 企業におけるWebエージェントの安全性と信頼性を評価することを目的とした, 新たなオンラインベンチマークST-WebAgentBenchを提案する。
このベンチマークは、セーフで信頼できる(ST)エージェントの動作を定義する詳細なフレームワークに基づいており、STポリシーをどのように構成すべきかを概説し、エージェントのパフォーマンスを評価するためのCompletion Under Policiesメトリクスを紹介している。
我々の評価は、現在のSOTAエージェントが政策遵守に苦慮し、重要なビジネスアプリケーションにはまだ頼っていないことを示している。
さらに,Webエージェントのポリシー意識とコンプライアンス向上を目的としたアーキテクチャ原則を提案する。
私たちはこのベンチマークをオープンソース化し、新しい世代の安全で信頼性の高いAIエージェントを育成することを目的として、コミュニティにコントリビューションを呼びかけます。
関連論文リスト
- Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
我々は,大規模言語モデル(LLM)の安全性を評価するための総合ベンチマークであるAgent-SafetyBenchを紹介する。
Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。
16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
論文 参考訳（メタデータ） (2024-12-19T02:35:15Z) - MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control [20.796190000442053]
モバイル機器制御エージェントの安全性を評価するためのベンチマークであるMobileSafetyBenchを紹介する。
メッセージングやバンキングアプリケーションを含む,さまざまなモバイルアプリケーションとのインタラクションに関わる,さまざまなタスクセットを開発します。
実験の結果,現状のLDMをベースとしたベースラインエージェントは,タスク実行時に害を効果的に防ぐことができないことが多いことがわかった。
論文 参考訳（メタデータ） (2024-10-23T02:51:43Z) - SecCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [47.11178028457252]
我々はGenAIのリスクをコードする統合的かつ包括的な評価プラットフォームSecCodePLTを開発した。
安全でないコードには、専門家と自動生成を組み合わせたデータ生成のための新しい方法論を導入する。
サイバー攻撃支援のために、我々はモデルに実際の攻撃を引き起こすよう促すサンプルと、我々の環境における動的な指標を構築した。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - Building a Cybersecurity Risk Metamodel for Improved Method and Tool Integration [0.38073142980732994]
我々は,初期リスク分析にモデル駆動アプローチを適用した経験を,その後のセキュリティテストに関連して報告する。
私たちの仕事は、さまざまなツール間で情報のトレーサビリティをマップ、同期、保証するために使用される共通のメタモデルに依存しています。
論文 参考訳（メタデータ） (2024-09-12T10:18:26Z) - Athena: Safe Autonomous Agents with Verbal Contrastive Learning [3.102303947219617]
大規模言語モデル(LLM)は、様々なタスクを実行するために言語ベースのエージェントとして利用されてきた。
本研究では,言語コントラスト学習の概念を活用したアテナフレームワークを提案する。
このフレームワークには、エージェントを誘導するクオリティ機構も組み込まれており、各ステップにおけるリスクのあるアクションを防ぐ。
論文 参考訳（メタデータ） (2024-08-20T17:21:10Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z) - TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。
提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
論文 参考訳（メタデータ） (2024-02-02T17:26:23Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。