論文の概要: Chart the Invisible: Interactive Perception for Hidden-Target Exploration in GUI Agents

• arxiv url: http://arxiv.org/abs/2610.35237v1
• Date: Mon, 26 Oct 2026 11:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.84199
• Title: Chart the Invisible: Interactive Perception for Hidden-Target Exploration in GUI Agents
• Title（参考訳）: 目に見えないチャート:GUIエージェントにおける隠れターゲット探索のための対話的知覚
• Abstract要約: 本稿では,動作選択前の隠れ領域探索を支援するために,スクロール可能な領域認識を備えたGUIエージェントを提案する。 手作業で収集した667個のUI画面(Hagasu)のデータセット上で,スクロール可能な領域認識のための最初のマルチモーダルモデルをトレーニングする。 実験の結果、ハガスを統合することで、探索依存タスクにおいて、エンドツーエンドの完了率が64.8%から82.7%に向上することが示された。
• 参考スコア（独自算出の注目度）: 13.252469095741853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite rapid progress in command-line interface (CLI) tasks, recent LLM-based agents still struggle with reliable task execution through graphical user interfaces (GUIs). A key challenge is the limited content visible within a bounded viewport, especially on mobile devices, where many task-relevant targets remain hidden and can only be revealed through swipe interactions. Therefore, although most GUI agents support swipe as an action primitive, the lack of target visibility makes it difficult for them to decide when, where, and how to swipe to reveal the hidden content. Our quantitative study further shows that GUI agents incorrectly choose a click action in 47.8% of cases that require swipe exploration. To bridge this gap, this paper proposes equipping GUI agents with scrollable-region perception to support hidden-area exploration before action selection. To this end, we trained the first multimodal model for scrollable-region perception on a manually collected dataset of 667 UI screens, called Hagasu. By correctly identifying 78.5% of scrollable regions, experiments across nine GUI agents show that integrating Hagasu improves the mean end-to-end completion rate from 64.8% to 82.7% on explore-dependent tasks. To facilitate follow-up research, we release the swipe dataset and the source code of Hagasu.
• Abstract（参考訳）: コマンドラインインタフェース(CLI)タスクの急速な進歩にもかかわらず、最近のLLMベースのエージェントはグラフィカルユーザインタフェース(GUI)による信頼性の高いタスク実行に苦戦している。 特にモバイルデバイスでは、多くのタスク関連ターゲットが隠れており、スワイプ操作によってのみ表示される。 したがって、ほとんどのGUIエージェントは、アクションプリミティブとしてスワイプをサポートするが、ターゲットの可視性の欠如により、いつ、どこで、そして、隠れたコンテンツを明らかにするためにスワイプする方法を決定するのが難しくなる。 さらに定量的研究により、GUIエージェントは、スワイプ探索を必要とする47.8%のケースにおいて、誤ってクリックアクションを選択することが明らかとなった。 このギャップを埋めるために,本論文では,動作選択前の隠れ領域探索を支援するために,スクロール可能な領域認識を備えたGUIエージェントを提案する。 そこで我々は,手作業で収集した667個のUI画面のデータセットであるHagasuを用いて,スクロール可能な領域認識のための最初のマルチモーダルモデルを訓練した。 スクロール可能な領域の78.5%を正確に識別することにより、9つのGUIエージェントによる実験は、探索依存タスクにおいて、Hagasuを統合することで、平均的なエンドツーエンド完了率を64.8%から82.7%に改善することを示している。 追従調査を容易にするため,我々はHagasuのスワイプデータセットとソースコードをリリースする。

関連論文リスト

• IGG: A Benchmark for Interactive GUI Grounding under Visibility Constraints [25.532863390454207]
  対話型GUIグラウンディング(IGG)は、エージェントがまず対話を通じてターゲットを可視化し、次にクリックしなければならないベンチマークである。 ヒトの研究では、参加者の精度は94.6%、GPT-5.5は79.4%、最も評価の高いオープンソースVLMは31.6%である。 この能力は学習可能であり、モデルファミリ間で可視性回復が一貫して強化可能であることを示す。
  論文  参考訳（メタデータ） (2026-10-23T12:14:28Z)
• Not All Graphs Are Maps: A Task-Agnostic Exploration Framework for Mobile GUI Navigation [12.730127348436321]
  既存のGUIエージェントバックボーンを再利用可能なデスティネーションメモリでラップするタスク非依存グラフナビゲーションフレームワークであるTAG-Navを紹介する。 将来のタスクの目的地がカバーされると、TAG-Navは目的地を検索し、タスク固有のデモンストレーションなしでルートガイダンスを提供する。 DestBenchはナビゲーション専用プロトコルで、エージェントが正しいプリアクション先画面に到達するかどうかを問う。
  論文  参考訳（メタデータ） (2026-10-15T21:40:34Z)
• Learn from Move: the Next Step for GUI Agents [51.90802532969377]
  制御に必要なエビデンスによって編成された3つのマッチングペアの6つのタスクのベンチマークであるLatentGUIWorldを紹介した。 ボタンイベントから移動を分離し、中間的な視覚フィードバックを公開するMOVEを紹介する。 ジョイント・RLはさらにエゴ・ドラグセンティブとテン・チョイスの成功を92.0%と75.3%に引き上げている。
  論文  参考訳（メタデータ） (2026-10-12T12:52:21Z)
• SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis [11.291868789244496]
  人間のスワイプ動作を定量的な次元に分解し,人間のスワイプ操作を合成する自動パイプラインSwipeGenを提案する。 このパイプラインに基づいて、GUIエージェントのスワイプ実行能力を評価するための最初のベンチマークを構築し、リリースする。 対話実行機能を強化したGUIエージェントであるGUISwiperを提案する。
  論文  参考訳（メタデータ） (2026-01-26T09:35:10Z)
• Zoom in, Click out: Unlocking and Evaluating the Potential of Zooming for GUI Grounding [71.97466930670936]
  グラウンディングはグラフィカルユーザインタフェース(GUI)エージェントを構築するための基本的な機能である。 本稿ではGUIグラウンディングに先立って未探索の強いズームについて検討し,トレーニング不要なZoomClick法を提案する。 実験により,本手法は汎用視覚言語と特殊GUIグラウンドモデルの両方の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-12-05T18:39:12Z)
• GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
  座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。 GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。 実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T17:59:08Z)
• Visual Test-time Scaling for GUI Agent Grounding [61.609126885427386]
  視覚言語モデルエージェントのための視覚的テスト時間スケーリングアプローチであるRereaFocusを紹介する。 提案手法は, 局所的に動的にズームインし, 背景乱れを低減し, 接地精度を向上する。 我々はScreenspot-proで28%、WebVoyagerベンチマークで24%の大幅なパフォーマンス向上を観察した。
  論文  参考訳（メタデータ） (2025-05-01T17:45:59Z)
• Are your apps accessible? A GCN-based accessibility checker for low vision users [22.747735521796077]
  本稿では,グラフィカルユーザインタフェースをグラフとして表現し,グラフ畳み込みニューラルネットワーク(GCN)を用いて,アクセス不能なコンポーネントのラベル付けを行う,ALVINという新しいアプローチを提案する。 48アプリの実験では、ALVINの精度は83.5%、リコールは78.9%、F1スコアは81.2%で、ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-20T06:04:06Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。