論文の概要: ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents

• arxiv url: http://arxiv.org/abs/2410.06703v3
• Date: Tue, 03 Dec 2024 08:09:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:39:14.757543
• Title: ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents
• Title（参考訳）: ST-WebAgentBench: Webエージェントの安全性と信頼性を評価するベンチマーク
• Authors: Ido Levy, Ben Wiesel, Sami Marreed, Alon Oved, Avi Yaeli, Segev Shlomov,
• Abstract要約: 本稿では,Webエージェントの安全性と信頼性を6つの重要な次元にわたって評価するベンチマークSTWebAgentBenchを提案する。 このベンチマークは、セーフで信頼できる(ST)エージェントの振る舞いを定義する詳細なフレームワークに基づいている。 私たちはこのベンチマークをオープンソース化し、新しい世代の安全で信頼性の高いAIエージェントを育成することを目的として、コミュニティにコントリビューションを呼びかけます。
• 参考スコア（独自算出の注目度）: 3.09793323158304
• License:
• Abstract: Recent advancements in Web agents have introduced novel architectures and benchmarks showcasing progress in autonomous web navigation and interaction. However, most existing benchmarks prioritize effectiveness and accuracy, overlooking factors like safety and trustworthiness which are essential for deploying web agents in enterprise settings. We present STWebAgentBench, a benchmark designed to evaluate web agents safety and trustworthiness across six critical dimensions, essential for reliability in enterprise applications. This benchmark is grounded in a detailed framework that defines safe and trustworthy (ST) agent behavior. Our work extends WebArena with safety templates and evaluation functions to assess safety policy compliance rigorously. We introduce the Completion Under Policy to measure task success while adhering to policies, alongside the Risk Ratio, which quantifies policy violations across dimensions, providing actionable insights to address safety gaps. Our evaluation reveals that current SOTA agents struggle with policy adherence and cannot yet be relied upon for critical business applications. We open-source this benchmark and invite the community to contribute, with the goal of fostering a new generation of safer, more trustworthy AI agents. All code, data, environment reproduction resources, and video demonstrations are available at https://sites.google.com/view/st-webagentbench/home.
• Abstract（参考訳）: Webエージェントの最近の進歩は、自律的なWebナビゲーションとインタラクションの進歩を示す新しいアーキテクチャとベンチマークを導入している。 しかし、既存のベンチマークのほとんどは、エンタープライズ環境でWebエージェントをデプロイするのに必須の安全性や信頼性といった要素を見越して、有効性と正確性を優先している。 企業アプリケーションにおいて信頼性に欠かせない6つの重要な側面において、Webエージェントの安全性と信頼性を評価するためのベンチマークであるSTWebAgentBenchを提示する。 このベンチマークは、セーフで信頼できる(ST)エージェントの振る舞いを定義する詳細なフレームワークに基づいている。 本研究は,WebArenaを安全テンプレートと評価機能で拡張し,安全ポリシーコンプライアンスを厳格に評価する。 安全ギャップに対処するための実用的な洞察を提供するとともに、政策を順守しながらタスク成功度を計測する「完成下政策」を導入する。 我々の評価は、現在のSOTAエージェントが政策遵守に苦慮し、重要なビジネスアプリケーションにはまだ頼っていないことを示している。 私たちはこのベンチマークをオープンソース化し、新しい世代の安全で信頼性の高いAIエージェントを育成することを目的として、コミュニティにコントリビューションを呼びかけます。 すべてのコード、データ、環境再生リソース、ビデオデモはhttps://sites.google.com/view/st-webagentbench/home.comで公開されている。

関連論文リスト

• Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
  我々は,大規模言語モデル(LLM)の安全性を評価するための総合ベンチマークであるAgent-SafetyBenchを紹介する。 Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。 16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-12-19T02:35:15Z)
• MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control [20.796190000442053]
  モバイル機器制御エージェントの安全性を評価するためのベンチマークであるMobileSafetyBenchを紹介する。 メッセージングやバンキングアプリケーションを含む,さまざまなモバイルアプリケーションとのインタラクションに関わる,さまざまなタスクセットを開発します。 実験の結果,現状のLDMをベースとしたベースラインエージェントは,タスク実行時に害を効果的に防ぐことができないことが多いことがわかった。
  論文  参考訳（メタデータ） (2024-10-23T02:51:43Z)
• SecCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [47.11178028457252]
  我々はGenAIのリスクをコードする統合的かつ包括的な評価プラットフォームSecCodePLTを開発した。 安全でないコードには、専門家と自動生成を組み合わせたデータ生成のための新しい方法論を導入する。 サイバー攻撃支援のために、我々はモデルに実際の攻撃を引き起こすよう促すサンプルと、我々の環境における動的な指標を構築した。
  論文  参考訳（メタデータ） (2024-10-14T21:17:22Z)
• Building a Cybersecurity Risk Metamodel for Improved Method and Tool Integration [0.38073142980732994]
  我々は,初期リスク分析にモデル駆動アプローチを適用した経験を,その後のセキュリティテストに関連して報告する。 私たちの仕事は、さまざまなツール間で情報のトレーサビリティをマップ、同期、保証するために使用される共通のメタモデルに依存しています。
  論文  参考訳（メタデータ） (2024-09-12T10:18:26Z)
• Athena: Safe Autonomous Agents with Verbal Contrastive Learning [3.102303947219617]
  大規模言語モデル(LLM)は、様々なタスクを実行するために言語ベースのエージェントとして利用されてきた。 本研究では,言語コントラスト学習の概念を活用したアテナフレームワークを提案する。 このフレームワークには、エージェントを誘導するクオリティ機構も組み込まれており、各ステップにおけるリスクのあるアクションを防ぐ。
  論文  参考訳（メタデータ） (2024-08-20T17:21:10Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
  本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。 提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
  論文  参考訳（メタデータ） (2024-02-02T17:26:23Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。