論文の概要: Toward a Human-Centered Evaluation Framework for Trustworthy LLM-Powered GUI Agents

• arxiv url: http://arxiv.org/abs/2504.17934v1
• Date: Thu, 24 Apr 2025 20:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.574456
• Title: Toward a Human-Centered Evaluation Framework for Trustworthy LLM-Powered GUI Agents
• Title（参考訳）: 信頼性の高いLLM型GUIエージェントのための人間中心評価フレームワークの実現に向けて
• Authors: Chaoran Chen, Zhiping Zhang, Ibrahim Khalilov, Bingcan Guo, Simret A Gebreegziabher, Yanfang Ye, Ziang Xiao, Yaxing Yao, Tianshi Li, Toby Jia-Jun Li,
• Abstract要約: 本稿では、GUIエージェントの3つの重要なリスクを特定し、従来のGUI自動化と一般的な自律エージェントとの違いについて検討する。 これらのリスクにもかかわらず、既存の評価は主にパフォーマンスに重点を置いており、プライバシとセキュリティアセスメントはほとんど調査されていない。 このようなギャップに対処するため,リスクアセスメントを取り入れ,コンテキスト内同意を通じてユーザ意識を高め,GUIエージェントの設計と評価にプライバシとセキュリティの考慮を組み込む人間中心評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.722763588466922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of Large Language Models (LLMs) has revolutionized Graphical User Interface (GUI) automation through LLM-powered GUI agents, yet their ability to process sensitive data with limited human oversight raises significant privacy and security risks. This position paper identifies three key risks of GUI agents and examines how they differ from traditional GUI automation and general autonomous agents. Despite these risks, existing evaluations focus primarily on performance, leaving privacy and security assessments largely unexplored. We review current evaluation metrics for both GUI and general LLM agents and outline five key challenges in integrating human evaluators for GUI agent assessments. To address these gaps, we advocate for a human-centered evaluation framework that incorporates risk assessments, enhances user awareness through in-context consent, and embeds privacy and security considerations into GUI agent design and evaluation.
• Abstract（参考訳）: LLM(Large Language Models)の台頭は、LLMベースのGUIエージェントを通じてGUI(Graphical User Interface)の自動化に革命をもたらした。 本稿では、GUIエージェントの3つの重要なリスクを特定し、従来のGUI自動化と一般的な自律エージェントとの違いについて検討する。 これらのリスクにもかかわらず、既存の評価は主にパフォーマンスに重点を置いており、プライバシとセキュリティアセスメントはほとんど調査されていない。 GUI エージェントと一般 LLM エージェントの両方に対する現在の評価基準を概説し,GUI エージェント評価のための人間評価器の統合における5つの重要な課題を概説する。 このようなギャップに対処するため,リスクアセスメントを取り入れ,コンテキスト内同意を通じてユーザ意識を高め,GUIエージェントの設計と評価にプライバシとセキュリティの考慮を組み込む人間中心評価フレームワークを提案する。

関連論文リスト

• Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
  本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。 敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。 GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
  論文  参考訳（メタデータ） (2025-03-30T13:26:00Z)
• A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
  グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。 大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。 本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
  論文  参考訳（メタデータ） (2025-03-27T17:58:31Z)
• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• CValues: Measuring the Values of Chinese Large Language Models from Safety to Responsibility [62.74405775089802]
  LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。 その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。 以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2023-07-19T01:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。