論文の概要: SchemaGUI: A Schema-Driven Benchmark for Controllable GUI Generation Evaluation
- arxiv url: http://arxiv.org/abs/2608.22390v1
- Date: Sun, 23 Aug 2026 12:34:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.757345
- Title: SchemaGUI: A Schema-Driven Benchmark for Controllable GUI Generation Evaluation
- Title（参考訳）: SchemaGUI: 制御可能なGUI生成評価のためのスキーマ駆動ベンチマーク
- Abstract要約: 制御可能なGUI生成評価のためのテンプレートベースのベンチマークを提案する。
ペアの自然言語命令と決定論的関数呼び出し参照により、GUIは数千の決定論的注釈付きタスクを生成することができる。
Qwen3.5ファミリ、Qwen3-Coder-30B、DeepSeek-R1の5つの主要なモデルをベンチマークします。
- 参考スコア（独自算出の注目度）: 13.024996903022528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated strong potential in graphical user interface (GUI) generation, but reliable evaluation remains challenging due to uncontrolled data distributions, noisy annotations, and limited layout scenario coverage. To address this, we propose SchemaGUI, a template-based benchmark for controllable GUI generation evaluation. By synthesizing paired natural language instructions and deterministic function-call references from parameterized interface schemas, SchemaGUI can generate thousands of deterministically annotated tasks in seconds without human labeling. Based on 1,000 evaluated instances per scenario and language across six representative bilingual scenarios, we benchmark five mainstream models, including the Qwen3.5 family, Qwen3-Coder-30B, and DeepSeek-R1. Our extensive analysis reveals three key insights. First, precise geometric spatial control remains an important bottleneck; while scaling Qwen3.5 from 4B to 27B improves Schema Feasibility from 91.56% to 99.63%, the Geometry score improves more modestly (from 67.05% to 75.30%). Second, generation difficulty is highly sensitive to layout complexity, with current LLMs excelling at simple sequential arrangements but suffering severe coordinate drift in dense grids and multi-region compositions. Third, thinking mode increases token consumption while generally reducing GUI Score, particularly for smaller models.
- Abstract（参考訳）: 大規模言語モデル(LLM)はグラフィカルユーザインタフェース(GUI)生成において大きな可能性を示しているが、制御されていないデータ分散、ノイズの多いアノテーション、限られたレイアウトシナリオカバレッジのために信頼性の高い評価は依然として難しい。
そこで我々は,制御可能なGUI生成評価のためのテンプレートベースのベンチマークであるSchemaGUIを提案する。
パラメータ化されたインタフェーススキーマからペアの自然言語命令と決定論的関数呼び出し参照を合成することにより、SchemaGUIは人間のラベルなしで数千の決定論的アノテートタスクを数秒で生成できる。
Qwen3.5ファミリ、Qwen3-Coder-30B、DeepSeek-R1の5つの主要なモデルをベンチマークします。
私たちの広範な分析から、3つの重要な洞察が浮かび上がっています。
Qwen3.5 を 4B から 27B にスケーリングすると、スキーマのフェーザビリティが 91.56% から 99.63% に向上する一方、Geometry のスコアは 67.05% から 75.30% に改善される。
第二に、生成の難しさはレイアウトの複雑さに非常に敏感であり、現在のLLMは単純な逐次配列で優れているが、高密度グリッドや多領域構成では深刻な座標ドリフトに悩まされている。
第3に、シンキングモードはトークンの消費を増大させ、一般にGUIスコアを減少させ、特により小さなモデルでは。
関連論文リスト
- Noesis: Bidirectional Graph-RAG with Adaptive Parallelism and Cross-Knowledge-Base Semantic Discovery [0.0]
Graph-RAGは、ドメイン固有のコーパスで大きな言語モデルを構築するための強力なパラダイムとして登場した。
既存のシステムは永続的な制約に直面している: (1) 静的な断片化、長い文書の断片化、横断的なセマンティック接続の喪失、(2) 取り込みパイプラインは適応的にスケールしない、(3) マルチドメインデプロイメントは、検索精度を希釈するモノリシックな知識ベースか、または手動のユーザルーティングを必要とする。
Noesis は,これらの制限に対処する疎結合な Graph-RAG アーキテクチャである。 (a) Graph-Feedback Context Resolver を用いた双方向グラフトラバース; (b) AIMD Con
論文 参考訳（メタデータ） (2026-08-16T20:23:35Z) - Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models [26.262278539931632]
グラフ推論は、大きな言語モデル(LLM)の推論能力を評価するための有望なテストベッドを提供する。
既存のグラフ推論ベンチマークは、データ複雑さのカバー範囲が限られており、手作業による構築に大きく依存している。
複雑なグラフ推論ベンチマークを構築するための5段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-02T22:02:04Z) - EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding [54.222234064832]
EvoGUIは、正規化されたGUI軌跡を3つの補完的な視覚的質問応答プローブに変換するフレームワークである。
私たちはMind2WebとWebLINXからEvoGUI-Benchをインスタンス化し、120ドメインで3,000のインスタンスを生成します。
最強のモデルは60.4 EvoGainにしか達しないが、モデルスケールとGUIの特殊化は性能を確実に予測しない。
論文 参考訳（メタデータ） (2026-07-19T03:29:08Z) - VisCoder2: Building Multi-Language Visualization Coding Agents [63.63232038173407]
可視化符号化エージェントを進化させるための3つの相補的なリソースを紹介する。
VisCoder2は、強力なオープンソースベースラインを著しく上回り、プロプライエタリなモデルのパフォーマンスにアプローチする。
論文 参考訳（メタデータ） (2025-10-24T18:03:57Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳（メタデータ） (2025-10-14T17:59:54Z) - SparkUI-Parser: Enhancing GUI Perception with Robust Grounding and Parsing [13.521180435948791]
本稿ではGUI知覚のための新しいエンドツーエンドフレームワークを提案する。
確率ベース離散モデリングの代わりに、座標の連続モデリングを行う。
これにより、離散出力特性に固有の制限を効果的に緩和する。
論文 参考訳（メタデータ） (2025-09-05T08:24:12Z) - Test-Time Reinforcement Learning for GUI Grounding via Region Consistency [17.954613936413942]
本稿では,複数のサンプル予測から空間投票格子を構築し,コンセンサス領域を同定するテスト時間スケーリング手法を提案する。
また、GUI-RCPOを導入し、これらの一貫性パターンをテスト時間強化学習の報酬に変換する。
提案手法は,GUI接地のためのテスト時間スケーリングとテスト時間強化学習の未解決の可能性を明らかにし,より堅牢でデータ効率のよいGUIエージェントへの有望な道筋を提供する。
論文 参考訳（メタデータ） (2025-08-07T17:54:27Z) - ZonUI-3B: A Lightweight Vision-Language Model for Cross-Resolution GUI Grounding [0.0]
ZonUI-3Bは、単一のコンシューマグレードGPUで完全にトレーニング可能な軽量ビジョンランゲージモデル(VLM)である。
GUIグラウンディングタスクにおいて、かなり大きなモデルに匹敵するパフォーマンスを提供する。
論文 参考訳（メタデータ） (2025-06-30T03:33:02Z) - GUI-Robust: A Comprehensive Dataset for Testing GUI Agent Robustness in Real-World Anomalies [34.63675989928621]
本稿ではGUIエージェント評価のための新しいデータセットであるGUI-Robustを紹介する。
また、RPAツールを介して自然なインタラクションからユーザアクションシーケンスを収集する半自動データセット構築パラダイムを提案する。
このパラダイムは、アノテーションの時間コストを19倍以上削減します。
GUI-Robustデータセットを用いて最先端のGUIエージェントを評価し,異常なシナリオにおける性能劣化を明らかにした。
論文 参考訳（メタデータ） (2025-06-17T12:50:35Z) - Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。
そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。
我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
論文 参考訳（メタデータ） (2025-06-05T04:12:36Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - Learning to Decompose: Hypothetical Question Decomposition Based on
Comparable Texts [65.84370471189676]
本研究は,分解型変圧器の大規模中間訓練について,比較テキストから遠ざかって検討する。
このような中間的事前学習により、多様なタスクのための堅牢な分解ベースモデルの開発がより実現可能であることを示す。
論文 参考訳（メタデータ） (2022-10-30T15:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。