論文の概要: Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
- arxiv url: http://arxiv.org/abs/2610.41432v1
- Date: Fri, 30 Oct 2026 08:38:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.662653
- Title: Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
- Title（参考訳）: ハイブリッドコンピュータ利用:汎用エージェントのための統一型プログラム、セマンティック、ビジュアルインターフェース
- Abstract要約: ハイブリッド・コンピュータ・ユース (Hybrid Computer Use, HCU) は、汎用エージェントのための統一インターフェースである。
AXツールは、コンパクトな観察を返却し、バッチでアクションを実行し、その効果をAX差分として報告する。
補助的なHCUスキルガイドは、統一インターフェースを効果的に使用するチャネルの選択および調整を行うエージェントを案内する。
- 参考スコア（独自算出の注目度）: 39.509292908329336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents increasingly tackle tasks ranging from everyday desktop activities to long-horizon professional workflows. Yet interfaces centered on screenshots and mouse-and-keyboard actions can impose a human-interaction prior, requiring repeated screen interpretation while leaving the computer's semantic and programmatic capabilities underexposed. We argue for exposing these capabilities and letting models choose and combine them. We introduce Hybrid Computer Use (HCU), a unified interface for general agents that combines three complementary channels: programmatic interaction through code and command-line tools, semantic interaction through accessibility (AX), and visual interaction through graphical user interfaces (GUI). Our HCU supports efficient AX interaction and guards against stale-state actions during channel switching. A supplementary HCU skill guides agents in selecting and coordinating channels to use the unified interface effectively. Our designed AX tools return compact observations, execute actions in batches, and report their effects as AX diffs, so the model needs fewer round trips. On OSWorld 2.0, HCU achieves the highest Partial and Binary scores among the compared systems. Analyzing agent trajectories, we find that all evaluated models improve with HCU yet allocate work across the channels differently and consistently outperform compared baselines in terms of both efficiency and task success, highlighting the value of unified computer-use interfaces that allow flexible channel selection and combination.
- Abstract（参考訳）: コンピュータ利用エージェントは、日々のデスクトップ活動から長期のプロフェッショナルワークフローまで、タスクに対処する傾向にある。
しかし、スクリーンショットとマウスとキーボードのアクションを中心にしたインターフェースは、人間の操作を事前に強制し、コンピュータのセマンティックな能力とプログラム的な能力を過小評価しながら、繰り返し画面の解釈を必要とする。
これらの機能を公開し、モデルがそれらを選択して組み合わせられるようにしている、と私たちは主張する。
本稿では、コードとコマンドラインツールによるプログラムインタラクション、アクセシビリティ(AX)によるセマンティックインタラクション、グラフィカルユーザインタフェース(GUI)による視覚インタラクションの3つの相補的なチャネルを組み合わせた汎用エージェントのための統一インターフェースであるHybrid Computer Use(HCU)を紹介する。
我々のHCUは効率的なAXインタラクションをサポートし、チャネル切替時の古い状態の動作を防ぐ。
補助的なHCUスキルガイドは、統一インターフェースを効果的に使用するチャネルの選択および調整を行うエージェントを案内する。
我々の設計したAXツールは、コンパクトな観察を返却し、バッチでアクションを実行し、その効果をAX差分として報告するので、モデルのラウンドトリップは少なくなります。
OSWorld 2.0では、HCUは比較されたシステムの中で最も高い部分スコアとバイナリスコアを達成している。
エージェントトラジェクトリを解析したところ、評価されたモデルはすべてHCUで改善されているものの、効率とタスク成功の両面から比較ベースラインよりも優れた性能を示し、フレキシブルなチャネル選択と組み合わせを可能にする統一されたコンピュータ利用インタフェースの価値を強調した。
関連論文リスト
- Exploring Interaction Paradigms for LLM Agents in Scientific Visualization [7.22431217973039]
本稿では,大規模言語モデル(LLM)エージェントが科学的可視化(SciVis)タスクでどのように機能するかを検討する。
我々は、ドメイン固有のエージェントと構造化ツールの使用、コンピュータ利用エージェント、汎用コーディングエージェントの3つの主要な相互作用パラダイムを比較した。
論文 参考訳（メタデータ） (2026-04-30T15:22:28Z) - Training Computer Use Agents to Assess the Usability of Graphical User Interfaces [14.613171273699045]
本稿では,ユーザビリティの計算的定義を演算する新しい機械学習手法を提案する。
我々は,完全にインタラクティブなユーザインタフェースの大規模データセット上に,このアルゴリズムを用いてコンピュータ利用エージェントuxCUAを訓練する。
uxCUAは精度の高いユーザビリティ評価においてより大きなモデルよりも優れており、合成UIと実UIの両方のリアルな批評を生成する。
論文 参考訳（メタデータ） (2026-04-28T18:04:11Z) - CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare [37.42599407869901]
マルチモーダルエージェントパイプラインは、複雑で現実的なタスクの効率的でアクセスしやすい自動化を可能にすることによって、人間とコンピュータのインタラクションを変革している。
近年の取り組みは、短期的、あるいは汎用的なアプリケーションに重点を置いており、特に医療において、ドメイン固有のシステムに対する長期的自動化は、ほとんど探索されていない。
本稿では,アクター批判パラダイムに基づくマルチエージェントフレームワークであるCarePilotを紹介する。
実験の結果,CarePilotは最先端のパフォーマンスを達成し,クローズドソースとオープンソースのマルチモーダルベースラインをそれぞれ約15.26%,3.38%向上した。
論文 参考訳（メタデータ） (2026-03-25T10:25:48Z) - Computer-Use Agents as Judges for Generative User Interface [142.75272102498806]
ComputerUse Agents (CUA) は、グラフィカルユーザインタフェース (GUI) を通じてデジタル環境を自律的に操作する能力が高まっている。
ほとんどのGUIは、人間が効率的にタスクを実行するのに不要な人間指向の動作を採用するために設計されている。
CUA は Coder でGUI の自動設計を支援することができるだろうか?
論文 参考訳（メタデータ） (2025-11-19T16:00:02Z) - Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。
クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。
オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-12-05T18:58:26Z) - Visual Grounding Methods for Efficient Interaction with Desktop Graphical User Interfaces [1.3107174618549584]
Instruction Visual Grounding (IVG) はグラフィカルユーザインタフェース (GUI) におけるオブジェクト識別のためのマルチモーダルアプローチである
本稿では、オブジェクト検出モデルであるLarge Language Model(LLM)とOCRモジュールを組み合わせたIVGocrと、エンド・ツー・エンドのグラウンド化にマルチモーダルアーキテクチャを用いたIVGdirectを提案する。
私たちの最終テストデータセットは、将来の研究をサポートするために公開されています。
論文 参考訳（メタデータ） (2024-05-05T19:10:19Z) - CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。
AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-19T08:29:03Z) - Modular Interactive Video Object Segmentation: Interaction-to-Mask,
Propagation and Difference-Aware Fusion [68.45737688496654]
本稿では,マスク間相互作用とマスク伝搬を分離するモジュール型対話型VOSフレームワークを提案する。
提案手法は,フレーム間インタラクションを少なくしつつ,現在の最先端アルゴリズムよりも優れることを示す。
論文 参考訳（メタデータ） (2021-03-14T14:39:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。