論文の概要: MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control

• arxiv url: http://arxiv.org/abs/2410.17520v1
• Date: Wed, 23 Oct 2024 02:51:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:07.010936
• Title: MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control
• Title（参考訳）: MobileSafetyBench: モバイルデバイス制御における自律エージェントの安全性の評価
• Authors: Juyong Lee, Dongyoon Hahm, June Suk Choi, W. Bradley Knox, Kimin Lee,
• Abstract要約: デバイス制御エージェントの安全性を評価するためのベンチマークであるMobileSafetyBenchを紹介する。 メッセージングやバンキングアプリケーションを含む,さまざまなモバイルアプリケーションとのインタラクションに関わる,さまざまなタスクセットを開発します。 実験の結果,現状のLDMをベースとしたベースラインエージェントは,有効なタスクの実行において良好に機能するが,安全タスクでは性能が劣ることがわかった。
• 参考スコア（独自算出の注目度）: 20.796190000442053
• License:
• Abstract: Autonomous agents powered by large language models (LLMs) show promising potential in assistive tasks across various domains, including mobile device control. As these agents interact directly with personal information and device settings, ensuring their safe and reliable behavior is crucial to prevent undesirable outcomes. However, no benchmark exists for standardized evaluation of the safety of mobile device-control agents. In this work, we introduce MobileSafetyBench, a benchmark designed to evaluate the safety of device-control agents within a realistic mobile environment based on Android emulators. We develop a diverse set of tasks involving interactions with various mobile applications, including messaging and banking applications. To clearly evaluate safety apart from general capabilities, we design separate tasks measuring safety and tasks evaluating helpfulness. The safety tasks challenge agents with managing potential risks prevalent in daily life and include tests to evaluate robustness against indirect prompt injections. Our experiments demonstrate that while baseline agents, based on state-of-the-art LLMs, perform well in executing helpful tasks, they show poor performance in safety tasks. To mitigate these safety concerns, we propose a prompting method that encourages agents to prioritize safety considerations. While this method shows promise in promoting safer behaviors, there is still considerable room for improvement to fully earn user trust. This highlights the urgent need for continued research to develop more robust safety mechanisms in mobile environments. We open-source our benchmark at: https://mobilesafetybench.github.io/.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用した自律エージェントは、モバイルデバイス制御を含むさまざまな領域にわたる支援タスクの有望な可能性を示している。 これらのエージェントは、個人情報やデバイス設定と直接やりとりするので、安全で信頼性の高い行動を保証することが、望ましくない結果を防ぐために不可欠である。 しかし、モバイル機器制御エージェントの安全性の標準化評価のためのベンチマークは存在しない。 本研究では,Androidエミュレータを用いた現実的なモバイル環境におけるデバイス制御エージェントの安全性を評価するためのベンチマークであるMobileSafetyBenchを紹介する。 メッセージングやバンキングアプリケーションを含む,さまざまなモバイルアプリケーションとのインタラクションに関わる,さまざまなタスクセットを開発します。 一般の能力とは別に安全性を明確に評価するために,安全性を計測するタスクと,有用性を評価するタスクを設計する。 安全タスクは、日常生活で頻発する潜在的なリスクを管理し、間接的なインジェクションに対する堅牢性を評価するテストを含むエージェントに挑戦する。 実験の結果,現状のLDMをベースとしたベースラインエージェントは,有効なタスクの実行において良好に機能するが,安全タスクでは性能が劣ることがわかった。 このような安全上の懸念を軽減するため,エージェントが安全上の配慮を優先するように促すプロンプト手法を提案する。 この方法では、より安全な行動を促進することを約束するが、ユーザー信頼を得るための改善の余地は十分にある。 このことは、モバイル環境においてより堅牢な安全メカニズムを開発するための継続的な研究の必要性を浮き彫りにしている。 私たちはベンチマークをhttps://mobilesafetybench.github.io/でオープンソース化しました。

関連論文リスト

• AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection [47.83354878065321]
  我々は,エージェントの安全性を高めるため,生涯のガードレールであるAGrailを提案する。 AGrailは適応型安全チェック生成、効果的な安全チェック最適化、ツールの互換性と柔軟性を備えている。
  論文  参考訳（メタデータ） (2025-02-17T05:12:33Z)
• AgentGuard: Repurposing Agentic Orchestrator for Safety Evaluation of Tool Orchestration [0.3222802562733787]
  AgentGuardは、安全でないツールの使用を自律的に発見し、検証するフレームワークである。 エージェントの動作を限定する安全制約を生成し、安全保証の基準を達成する。 フレームワークは、安全でないことを識別し、実際の実行でそれらを検証し、安全性の制約を生成し、制約の有効性を検証する。
  論文  参考訳（メタデータ） (2025-02-13T23:00:33Z)
• Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
  我々は,大規模言語モデル(LLM)の安全性を評価するための総合ベンチマークであるAgent-SafetyBenchを紹介する。 Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。 16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-12-19T02:35:15Z)
• ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents [3.09793323158304]
  本稿では,Webエージェントの安全性と信頼性を6つの重要な次元にわたって評価するベンチマークSTWebAgentBenchを提案する。 このベンチマークは、セーフで信頼できる(ST)エージェントの振る舞いを定義する詳細なフレームワークに基づいている。 私たちはこのベンチマークをオープンソース化し、新しい世代の安全で信頼性の高いAIエージェントを育成することを目的として、コミュニティにコントリビューションを呼びかけます。
  論文  参考訳（メタデータ） (2024-10-09T09:13:38Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Testing Language Model Agents Safely in the Wild [19.507292491433738]
  オープンインターネット上で安全な自律エージェントテストを行うためのフレームワークを提案する。 エージェントアクションは、厳格な安全境界を強制するコンテキスト依存モニターによって監査される。 敵のシミュレーションエージェントを用いて、安全でない状況を特定し、阻止する能力を測定する。
  論文  参考訳（メタデータ） (2023-11-17T14:06:05Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
  安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。 既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。 本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T10:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。