論文の概要: Learning to Look Beyond Screens: Transferable Visual Observation from GUI Grounding
- arxiv url: http://arxiv.org/abs/2610.37093v1
- Date: Tue, 27 Oct 2026 11:56:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.580533
- Title: Learning to Look Beyond Screens: Transferable Visual Observation from GUI Grounding
- Title（参考訳）: スクリーンを越えて見るための学習: GUIグラウンドから移動可能な視覚観察
- Abstract要約: 視覚知覚は受動的認識からアクティブなタスク指向の観察へと進化している。
LBS (Look Beyond Screens) は教師が生成したGUI接地軌道の教師付き初期化によって訓練された視覚言語モデルである。
Qwen3.5-35B-A3BとQwen3.8-27Bに基づくLBSモデルは、対応するベースラインよりも一貫して改善されている。
- 参考スコア（独自算出の注目度）: 24.03538674341608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual perception is evolving from passive recognition toward active, task-oriented observation. We investigate GUI grounding as a scalable source of spatial supervision for learning observation behaviors that transfer beyond interfaces. We introduce LBS (Look Beyond Screens), a vision-language model trained through supervised initialization on teacher-generated GUI grounding trajectories, followed by reinforcement learning for multi-turn crop-and-inspect decisions. Under fixed inference settings, LBS models based on Qwen3.5-35B-A3B and Qwen3.8-27B consistently improve over their corresponding baselines. Gains beyond supervised fine-tuning transfer to PerceptionBench for both backbones and to HR-Bench and ChartQAPro for Qwen3.5-35B-A3B, supporting observation strategies that generalize beyond GUI-specific imitation. Further analysis suggests complementary roles for the two stages: SFT establishes visual inspection primitives, while RL improves their downstream effectiveness. These findings support GUI grounding as a practical supervision paradigm for transferable active visual perception and broader multimodal reasoning. Our code and model are publicly available at https://github.com/inclusionAI/UI-Venus/tree/LBS and https://huggingface.co/inclusionAI/LBS-27B, respectively.
- Abstract（参考訳）: 視覚知覚は受動的認識からアクティブなタスク指向の観察へと進化している。
インタフェースを超えて移動する観察行動の学習のための空間監視のスケーラブルな源としてGUI接地について検討する。
LBS (Look Beyond Screens) は教師が生成したGUI接地軌道の教師付き初期化によって訓練された視覚言語モデルである。
固定推論設定では、Qwen3.5-35B-A3BとQwen3.8-27Bに基づくLBSモデルは、対応するベースラインよりも一貫して改善されている。
バックボーンはPerceptionBench、Qwen3.5-35B-A3BはHR-BenchとChartQAProに微調整を施した。
SFTは視覚検査プリミティブを確立し、RLは下流の有効性を改善している。
これらの知見は、移動可能な能動視覚知覚とより広いマルチモーダル推論のための実践的監督パラダイムとしてGUIグラウンドティングを支援する。
私たちのコードとモデルは、https://github.com/inclusionAI/UI-Venus/tree/LBSとhttps://huggingface.co/inclusionAI/LBS-27Bで公開されています。
関連論文リスト
- EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding [54.222234064832]
EvoGUIは、正規化されたGUI軌跡を3つの補完的な視覚的質問応答プローブに変換するフレームワークである。
私たちはMind2WebとWebLINXからEvoGUI-Benchをインスタンス化し、120ドメインで3,000のインスタンスを生成します。
最強のモデルは60.4 EvoGainにしか達しないが、モデルスケールとGUIの特殊化は性能を確実に予測しない。
論文 参考訳（メタデータ） (2026-07-19T03:29:08Z) - GUI-Eyes: Tool-Augmented Perception for Visual Grounding in GUI Agents [39.807839972627015]
GUIタスクにおける能動的視覚知覚のための強化学習フレームワークであるGUI-Eyesを提案する。
我々は、意思決定を粗い探索ときめ細かい接地に分解する進歩的認識戦略を導入する。
ScreenSpot-Proベンチマークでは、GUI-Eyes-3Bは3kラベルのサンプルのみを使用して44.8%のグラウンド精度を達成した。
論文 参考訳（メタデータ） (2026-01-14T14:27:28Z) - UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。
これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。
得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2025-10-23T07:18:32Z) - PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents [151.86841216364294]
textbfPAL-UI (textbfActive textbfLook-back) を提案する。
PAL-UIは、二重レベルの要約エージェントを組み合わせ、観察レベルの手がかりとアクションレベルの結果の両方を、専用の検索ツールと組み合わせる。
論文 参考訳（メタデータ） (2025-10-01T01:48:39Z) - Test-Time Reinforcement Learning for GUI Grounding via Region Consistency [17.954613936413942]
本稿では,複数のサンプル予測から空間投票格子を構築し,コンセンサス領域を同定するテスト時間スケーリング手法を提案する。
また、GUI-RCPOを導入し、これらの一貫性パターンをテスト時間強化学習の報酬に変換する。
提案手法は,GUI接地のためのテスト時間スケーリングとテスト時間強化学習の未解決の可能性を明らかにし,より堅牢でデータ効率のよいGUIエージェントへの有望な道筋を提供する。
論文 参考訳（メタデータ） (2025-08-07T17:54:27Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - GUI-Shift: Enhancing VLM-Based GUI Agents through Self-supervised Reinforcement Learning [21.964100514016504]
GUIエージェントのための効果的なビジョンランゲージモデル(VLM)のトレーニングは通常、大規模な注釈付きデータセットに依存する。
本稿では,2つのGUI状態間の遷移を引き起こす初期動作を予測することで,VLMがGUIダイナミクスを学習する自己教師型逆動的タスクであるKステップGUIトランジションを紹介する。
本稿では,ルールベースの最適化とデータフィルタリングを組み合わせることで,VLM性能を向上させるための強化学習フレームワークであるGUI-Shiftを提案する。
論文 参考訳（メタデータ） (2025-05-18T16:34:30Z) - Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。
クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。
オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-12-05T18:58:26Z) - Improved GUI Grounding via Iterative Narrowing [0.03375622857152329]
本稿では,GUIグラウンディングにおける汎用モデルと微調整モデルの両方の性能向上のために,反復的絞り機構を用いた視覚的プロンプトフレームワークを提案する。
評価のために、様々なUIプラットフォームからなる包括的なベンチマークで手法を検証し、その結果を再現するコードを提供した。
論文 参考訳（メタデータ） (2024-11-18T05:47:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。