論文の概要: GUI agent: Guided Exploration of User-Sensitive Screens

• arxiv url: http://arxiv.org/abs/2606.25705v1
• Date: Wed, 24 Jun 2026 11:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.315254
• Title: GUI agent: Guided Exploration of User-Sensitive Screens
• Title（参考訳）: GUIエージェント:ユーザ感性画面のガイド探索
• Abstract要約: 最先端のLSM駆動エージェントは通常、その行動の安全性によらず、タスクを完了させるために微調整される。 ユーザセンシティブな状態を特定して分類し、ユーザセンシティブなクエリを定義することが重要です。 このデータセットは、エンジニアが重要なシナリオでユーザを認識して、ハンドオーバを要求するためのものだ。
• 参考スコア（独自算出の注目度）: 7.023543916679923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are increasingly being used to automate tasks for users within an open GUI environment. They inevitably encounter screens containing user-sensitive information, for which takeover of task execution by the user is highly desirable or even necessary. State-of-the-art LLM-driven agents are usually fine-tuned to complete tasks regardless of the safety implications of their actions. This makes their real-world deployment difficult and adversely affects the reliability. Therefore, it is crucial to identify and categorize user-sensitive states and define user-sensitive queries. This dataset would be to engineers to recognize and request handover to the user in critical scenarios. This short paper develops an explorer agent that systematically explores the query space starting from one demonstrated task to identify queries that, if executed, would lead to user-sensitive states in a GUI environment.
• Abstract（参考訳）: LLMエージェントは、オープンGUI環境内のユーザのタスクを自動化するために、ますます使われています。 ユーザセンシティブな情報を含む画面に必然的に遭遇し、ユーザによるタスク実行の乗っ取りが極めて望ましいか、必要である。 最先端のLSM駆動エージェントは通常、その行動の安全性によらず、タスクを完了させるために微調整される。 これにより、実際のデプロイメントが難しくなり、信頼性に悪影響を及ぼす。 したがって、ユーザセンシティブな状態を特定して分類し、ユーザセンシティブなクエリを定義することが重要である。 このデータセットは、エンジニアが重要なシナリオでユーザを認識して、ハンドオーバを要求するためのものだ。 本稿では,GUI環境におけるユーザ依存状態に繋がるクエリを識別するために,提案するタスクから始まり,クエリ空間を体系的に探索するエクスプローラーエージェントを開発する。

関連論文リスト

• DocOS: Towards Proactive Document-Guided Actions in GUI Agents [54.27655693145045]
  textbfDocOSは、完全にインタラクティブな環境で文書誘導問題解決を評価するために設計されたベンチマークである。 実験の結果、エージェントはプロアクティブ検索中に関連情報を確実に見つけるのに苦労し、検索した指示を忠実に正確な行動に移すのに失敗することが判明した。
  論文  参考訳（メタデータ） (2026-05-18T08:36:04Z)
• PIRA-Bench: A Transition from Reactive GUI Agents to GUI-based Proactive Intent Recommendation Agents [32.98769345205729]
  PIRA-Benchは、マルチモーダルな大規模言語モデル(MLLM)を、連続的、弱い教師付き視覚入力で評価するための新しいベンチマークである。 本稿では,複数のタスクスレッドを管理し,誤った視覚的入力を処理する汎用MLLMを実現する,メモリ対応の状態追跡フレームワークであるPIRFベースラインを提案する。
  論文  参考訳（メタデータ） (2026-03-09T06:41:32Z)
• PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records [67.68348568175718]
  パーソナライズされたGUIエージェント(PersonalAlign)の階層的意図的アライメントに注目した。 PersonalAlignは、曖昧な指示で省略された好みを解決するために、長期的なユーザレコードを永続的なコンテキストとして活用する必要がある。 GPT-5, Qwen3-VL, UI-TARSなどのGUIエージェントをAndroidIntent上で評価する。
  論文  参考訳（メタデータ） (2026-01-14T17:12:48Z)
• Creating General User Models from Computer Use [53.59999173952482]
  本稿では,コンピュータとのインタラクションを観察することでユーザについて学習する汎用ユーザモデル(GUM)のアーキテクチャを提案する。 GUMは、ユーザ(例えばデバイスのスクリーンショット)の非構造化観察を入力として受け取り、ユーザの知識と好みをキャプチャする信頼度重み付け命題を構築する。
  論文  参考訳（メタデータ） (2025-05-16T04:00:31Z)
• The Obvious Invisible Threat: LLM-Powered GUI Agents' Vulnerability to Fine-Print Injections [21.322212760700957]
  LLM(Large Language Model)ベースのGUIエージェントは、高レベルな命令に従ってユーザの代用タスクを実行する専門的な自律システムである。 フォームや予約サービスなどの現実世界のタスクを完了させるには、GUIエージェントは機密性の高いユーザーデータを処理する必要がある。 これらの攻撃は、エージェントと人間のユーザに対する視覚的満足度の違いを悪用することが多い。
  論文  参考訳（メタデータ） (2025-04-15T15:21:09Z)
• Navi-plus: Managing Ambiguous GUI Navigation Tasks with Follow-up Questions [19.83324476857815]
  本稿では,GUIエージェント内に対話型情報補完機能を組み込んだ$textbfSelf-Correction GUI Navigationについて紹介する。 この結果から,GUIフォローアップ質問機能を備えたエージェントが,不明瞭なユーザタスクに直面した場合に,そのパフォーマンスを回復できることが示唆された。
  論文  参考訳（メタデータ） (2025-03-31T14:56:24Z)
• Gensors: Authoring Personalized Visual Sensors with Multimodal Foundation Models and Reasoning [61.17099595835263]
  Gensorsは、ユーザがMLLMの推論能力によってサポートされているカスタマイズされたセンサーを定義することを可能にするシステムである。 ユーザスタディでは、Gensorsを用いてセンサーを定義するとき、参加者はコントロール、理解、コミュニケーションの容易さを著しく向上させた。
  論文  参考訳（メタデータ） (2025-01-27T01:47:57Z)
• Optimizing Data Delivery: Insights from User Preferences on Visuals, Tables, and Text [59.68239795065175]
  ユーザが質問を提示するユーザスタディを実施し、何を見たいのかを尋ねます。 ユーザの個人的特性が、彼らが好むデータ出力に影響を与えることを確認するために、このデータを使用します。
  論文  参考訳（メタデータ） (2024-11-12T00:24:31Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。