論文の概要: When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction

• arxiv url: http://arxiv.org/abs/2610.11123v1
• Date: Thu, 08 Oct 2026 02:49:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.74782
• Title: When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction
• Title（参考訳）: インターフェイスが語るとき: アクティブインタラクションのためのデータ認識生成UIのハーネス
• Abstract要約: 情報検索とタスク実行のためのツールエージェントであるGenUI-HarnessをGUIコーダエージェントと組み合わせて、曖昧性を識別し、構造化インターフェイスのフロントエンドコードを生成する。 動的インタラクションと報酬収集を単一のサンドボックスで行う軽量パッケージであるDynamic UXの最初の課題に対処する。 パブリックなデータソースから構築された10の現実世界のドメインデータベース上に構築されたUIコードを通じて、アクティブなヒューマンエージェントインタラクションのベンチマークであるUI-TAU Benchを紹介する。
• 参考スコア（独自算出の注目度）: 20.347078296537354
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Most human-agent interaction today remains text-based. Natural language can impose cognitive overload, ambiguity, information chaos, and slow input for complex tasks; ephemeral generative UIs can present structured information and guide users toward task completion. We propose GenUI-Harness, a multi-agent harness pairing a Tool Agent for information retrieval and task execution with a GUI Coder Agent that identifies ambiguities and generates front-end code for structured interfaces. Training the coder with reinforcement learning is challenging: verifiable rewards for interactive UI generation require costly execution, while LLM-as-a-Judge rewards are prone to reward hacking. We address the first challenge with Dynamic UX, a lightweight package for dynamic interaction and reward collection in a single sandbox, and the second with Reward Auditor, a meta-reward mechanism that monitors reward distributions and distills diagnostic patterns into a shared rubric and scoring specification. We introduce UI-TAU Bench, a benchmark for active human-agent interaction through generated UI code, built on 10 real-world domain databases constructed from public data sources and based on Tau-Bench tool-use settings, with Lite (300 tasks) and Full (1,000 tasks) splits. GenUI-Harness achieves an average Pass@3 gain of 4.48 percentage points over smolagents on Lite. Training with GenUI-Harness improves a 4B backbone from 9.33% to 58.00% Pass@3, outperforming larger frontier models such as Claude Opus 5 (46.67%). GenUI-Harness also remains robust on ambiguous and non-ambiguous queries. In a reviewer survey comparing communication channels, generated UIs reduce average dialogue rounds from 3.4 to 1.2. These results show that data-aware generative interfaces can support effective task completion and reduce dialogue rounds in evaluated database-backed workflows.
• Abstract（参考訳）: 現在、ほとんどの人間とエージェントの相互作用はテキストベースのままである。 自然言語は認知的過負荷、曖昧さ、情報カオス、複雑なタスクに対する遅い入力を課すことができる。 情報検索とタスク実行のためのツールエージェントであるGenUI-HarnessをGUIコーダエージェントと組み合わせて、曖昧性を識別し、構造化インターフェイスのフロントエンドコードを生成する。 LLM-as-a-Judgeの報酬はハッキングに報いる傾向にあるが、インタラクティブなUI生成に対する検証可能な報酬はコストがかかる。 ひとつは、報酬分布を監視し、診断パターンを共有ルーリックとスコアリング仕様に蒸留するメタリワードメカニズムであるReward Auditorです。 UI-TAU Benchは,公開データソースから構築された10の現実世界のドメインデータベース上に構築され,Lite(300タスク)とFull(1,000タスク)を分割したTau-Benchツール使用設定に基づいて構築される。 GenUI-Harnessは、Lite上のスモラジェントよりも平均4.48ポイントのPass@3ゲインを達成した。 GenUI-Harnessを使用したトレーニングでは、4Bバックボーンを9.33%から58.00% Pass@3に改善し、Claude Opus 5 (46.67%) などより大きなフロンティアモデルを上回っている。 GenUI-Harnessはあいまいで曖昧でないクエリでも堅牢である。 通信チャネルを比較したレビュア調査では、生成されたUIは平均対話ラウンドを3.4から1.2に減らした。 これらの結果から,データ認識型生成インタフェースは,データベース支援ワークフローの評価において,効果的なタスク補完と対話ラウンドの削減をサポートできることが示唆された。

関連論文リスト

• HyMobileAgent: Data-Environment Co-Scaling for Efficient GUI Agents [57.53434680014667]
  HyMobileAgentはHy3.0-VL-A3B上に開発されたビジョンネイティブ基盤モデルである。 我々は,モバイルインタラクションの重要なボトルネックに対処する,共同データと環境中心のスケーリングフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-16T04:12:42Z)
• UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization [70.85564601986263]
  実験の結果, UI-Copilot-7BはMemGUI-Benchに挑戦する上で最先端の性能を発揮することがわかった。 UI-Copilot-7BはAndroidWorldのQwenベースモデルに対して17.1%の絶対的な改善を提供する。
  論文  参考訳（メタデータ） (2026-04-15T12:55:46Z)
• SecAgent: Efficient Mobile GUI Agent with Semantic Context [14.843356281047543]
  SecAgentは、3Bスケールで効率的なモバイルGUIエージェントである。 意味的文脈メカニズムは、履歴のスクリーンショットとアクションを簡潔で自然言語の要約に蒸留する。 トレーニングデータセット、ベンチマーク、モデル、コードをオープンソースにして、多言語モバイルGUI自動化の研究を前進させます。
  論文  参考訳（メタデータ） (2026-03-09T16:04:08Z)
• UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
  グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。 本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。 実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-09-02T17:44:45Z)
• UI-Genie: A Self-Improving Approach for Iteratively Boosting MLLM-based Mobile GUI Agents [37.871793585090586]
  GUIエージェントにおける2つの重要な課題に対処する自己改善フレームワークであるUI-Genieを紹介する。 軌道結果の検証は困難であり、高品質なトレーニングデータはスケーラブルではない。 UI-Genieは複数のGUIエージェントベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-27T17:58:06Z)
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• MUG: Interactive Multimodal Grounding on User Interfaces [12.035123646959669]
  本稿では,ユーザとエージェントがインタフェース画面上で協調作業を行うマルチモーダルグラウンドのための対話型タスクMUGを提案する。 ユーザがコマンドを与え、エージェントがコマンドに応答する。MUGはエージェントの応答を見る際に、エージェントがそのアクションを洗練または修正するための追加コマンドを与えるように、複数のラウンドのインタラクションを可能にする。
  論文  参考訳（メタデータ） (2022-09-29T21:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。