論文の概要: Training Computer Use Agents to Assess the Usability of Graphical User Interfaces

• arxiv url: http://arxiv.org/abs/2604.26020v1
• Date: Tue, 28 Apr 2026 18:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.133866
• Title: Training Computer Use Agents to Assess the Usability of Graphical User Interfaces
• Title（参考訳）: グラフィカルユーザインタフェースのユーザビリティを評価するコンピュータ利用エージェントの訓練
• Authors: Alice Gao, Weixi Tong, Rishab Vempati, Katharina Reinecke, R. Benjamin Shapiro, Tianyi Zhang, Jason Wu,
• Abstract要約: 本稿では,ユーザビリティの計算的定義を演算する新しい機械学習手法を提案する。 我々は,完全にインタラクティブなユーザインタフェースの大規模データセット上に,このアルゴリズムを用いてコンピュータ利用エージェントuxCUAを訓練する。 uxCUAは精度の高いユーザビリティ評価においてより大きなモデルよりも優れており、合成UIと実UIの両方のリアルな批評を生成する。
• 参考スコア（独自算出の注目度）: 14.613171273699045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Usability testing with experts and potential users can assess the effectiveness, efficiency, and user satisfaction of graphical user interfaces (GUIs) but doing so remains a costly and time-intensive process. Prior work has used computer use agents (CUAs) and other generative agents that can simulate user interactions and preference, but we show that agents still struggle to provide accurate usability assessments. In this work, we present a novel machine learning method that operationalizes a computational definition of usability to train CUAs to assess GUI usability by i) prioritizing important interaction flows, ii) executing them through human-like interactions, and iii) predicting a learned numerical usability score. We train a computer use agent, uxCUA, with our algorithm on a large-scale dataset of fully interactive user interfaces (UIs) paired with usability labels and human preferences. We show that uxCUA outperforms larger models in accurate usability assessments and produces realistic critiques of both synthetic and real UIs. More broadly, our work aims to build a principled, data-driven foundation for automated usability assessment in HCI.
• Abstract（参考訳）: 専門家や潜在的ユーザによるユーザビリティテストは、グラフィカルユーザインタフェース(GUI)の有効性、効率、ユーザ満足度を評価することができるが、それでもコストと時間を要するプロセスである。 これまで、コンピュータ利用エージェント(CUA)やその他の生成エージェントを使用して、ユーザのインタラクションや好みをシミュレートしてきたが、それでもエージェントは正確なユーザビリティ評価の提供に苦慮している。 本稿では,GUIのユーザビリティを評価するためにCUAを学習するためのユーザビリティの計算的定義を運用する,新しい機械学習手法を提案する。 一 重要な相互作用の流れの優先順位付け 二 人間の様の相互作用により行うこと、及び 三 学習した数値のユーザビリティスコアを予測すること。 我々は、ユーザビリティラベルと人間の嗜好とを組み合わせた、完全にインタラクティブなユーザインタフェース(UI)の大規模データセット上に、我々のアルゴリズムを用いて、コンピュータ利用エージェントuxCUAをトレーニングする。 uxCUAは精度の高いユーザビリティ評価においてより大きなモデルよりも優れており、合成UIと実UIの両方のリアルな批評を生成する。 より広範に、私たちの研究は、HCIにおけるユーザビリティの自動評価のための、原則化された、データ駆動の基盤を構築することを目的としています。

関連論文リスト

• OSExpert: Computer-Use Agents Learning Professional Skills via Exploration [55.660669638732024]
  汎用コンピュータ利用エージェントは、人間の専門家ほど役に立たない。 本研究では,環境の単位関数を探索し,検証するための深度優先探索アルゴリズムを提案する。 エージェントは、合成タスクのカリキュラムを自己構築するために、ユニットスキル間の構成性を利用する。
  論文  参考訳（メタデータ） (2026-03-09T05:27:56Z)
• Computer-Use Agents as Judges for Generative User Interface [142.75272102498806]
  ComputerUse Agents (CUA) は、グラフィカルユーザインタフェース (GUI) を通じてデジタル環境を自律的に操作する能力が高まっている。 ほとんどのGUIは、人間が効率的にタスクを実行するのに不要な人間指向の動作を採用するために設計されている。 CUA は Coder でGUI の自動設計を支援することができるだろうか?
  論文  参考訳（メタデータ） (2025-11-19T16:00:02Z)
• Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors [1.8352113484137629]
  正確なレコメンデーションモデルを開発する上での長年の課題は、主にユーザインタラクションの複雑な性質のために、ユーザの振る舞いをシミュレートすることである。 本研究では, 凍結したLarge Language Models (LLMs) を用いてロバストなユーザ表現を抽出し, 微調整小言語モデル (SLMs) を用いたコスト効率, 資源効率のよいユーザエージェントをシミュレートする手法を提案する。 提案手法の有効性を実証し,本手法を用いて開発したユーザエージェントが,オフラインメトリクスとレコメンデータシステムの実環境性能のギャップを埋める可能性を示した。
  論文  参考訳（メタデータ） (2025-08-18T22:14:57Z)
• DPO Learning with LLMs-Judge Signal for Computer Use Agents [9.454381108993832]
  コンピュータ・ユース・エージェント(CUA)は、グラフィカル・ユーザー・インタフェース(GUI)と自動的に対話してタスクを完了させるシステムである。 ローカルマシン上で完全に動作する軽量な視覚言語モデルを開発した。
  論文  参考訳（メタデータ） (2025-06-03T17:27:04Z)
• UI-Evol: Automatic Knowledge Evolving for Computer Use Agents [23.21178608410048]
  自律的なGUI知識進化のためのプラグイン・アンド・プレイモジュールであるUI-Evolを提案する。 UI-Evolは、実際のエージェントと環境の相互作用から忠実な客観的なアクションシーケンスを抽出するRetrace Stageと、既存の知識を洗練させるCritique Stageの2つのステージで構成されている。 この結果から,UI-Evolはタスク性能を著しく向上させるだけでなく,コンピュータ利用エージェントの行動標準偏差がこれまで見過ごされていた問題にも対処できることがわかった。
  論文  参考訳（メタデータ） (2025-05-28T04:32:05Z)
• Dynamic User Interface Generation for Enhanced Human-Computer Interaction Using Variational Autoencoders [4.1676654279172265]
  本研究では,変分オートエンコーダ(VAE)モデルに基づく,インテリジェントなユーザインタラクションインタフェース生成と最適化のための新しいアプローチを提案する。 VAEベースのアプローチは、オートエンコーダ(AE)、生成敵ネットワーク(GAN)、条件付きGAN(cGAN)、ディープ信頼ネットワーク(DBN)、VAE-GAN(VAE-GAN)などの他の手法と比較して、インタフェース生成の品質と精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-19T04:37:47Z)
• GUI Agents: A Survey [159.7656453000263]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization [112.40598205054994]
  我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。 タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。 以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
  論文  参考訳（メタデータ） (2022-05-24T21:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。