論文の概要: OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use

• arxiv url: http://arxiv.org/abs/2610.22200v1
• Date: Thu, 15 Oct 2026 16:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.201288
• Title: OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use
• Title（参考訳）: OpenGCUA: 汎用コンピュータのための完全なオープンスタックを目指す
• Abstract要約: オープンジェネリストCUA(Open Generalist CUA, OpenGCUA)は、GCUAのスタックをコミュニティと共同で開発・公開するためのプロジェクトである。 コード実行はエージェント設計の重要な特徴です。 本稿では,固定されたハーネスルールからモデルへのハーネス・ツー・モデル決定の伝達,選択された観測とタスク状態決定の移動を提案する。
• 参考スコア（独自算出の注目度）: 25.794506977309407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer use has reached a turning point: the focus is expanding from GUI-only interaction to systems that complete tasks on users' computers through visual and programmatic interfaces. We define a generalist computer-use agent (GCUA) as a system in which the model chooses how to observe, act, and organize its work across visual and programmatic interfaces. Yet frontier implementations, such as GPT-6 Astra's computer-use system, remain largely closed, limiting systematic study of their design. We introduce Open Generalist CUA (OpenGCUA), an ongoing project to develop and open the full stack for GCUAs with the community. This report presents the first release of OpenGCUA. Code execution is a key feature of our agent design: it lets intermediate results determine subsequent operations and enables models to apply their existing programming capabilities directly to computer interaction. We also propose harness-to-model decision transfer, moving selected observations and task-state decisions from fixed harness rules to the model. On OSWorld-v2, our full configuration improves task scores across all eight evaluated models, including GPT-6 Astra and Claude Opus 5, raising mean partial score by +19.6 points and reducing reported steps per task by an average of 53.0% relative to batched GUI-only execution. We release our implementation and prompts, evaluation trajectories from all eight models, and preliminary versions of a real-device harness and a cross-device SDK. The harness addresses real-device challenges not fully captured by benchmarks, while the SDK provides a common programming interface across computers, mobiles and browsers. Across four real macOS tasks under our real-device harness, selected Qwen3.8-Max runs use 19.4 times as many reported reasoning tokens as GPT-6 Astra, highlighting substantial differences between models in real-device execution efficiency.
• Abstract（参考訳）: GUIのみのインタラクションから、視覚的およびプログラム的インターフェースを通じてユーザのコンピュータ上のタスクを完了させるシステムへと、焦点が拡張されている。 本稿では,汎用コンピュータ利用エージェント (GCUA) を,視覚的およびプログラム的インターフェース間での作業の観察,行動,整理方法を選択するシステムとして定義する。 しかし、GPT-6アストラのコンピュータ利用システムのようなフロンティアの実装は、設計の体系的な研究を制限し、ほとんどクローズドのままである。 オープンジェネリストCUA(Open Generalist CUA, OpenGCUA)は、GCUAのスタックをコミュニティと共同で開発・公開するためのプロジェクトである。 本報告では,OpenGCUAの最初のリリースについて述べる。 コード実行はエージェント設計の重要な特徴であり、中間結果がその後の操作を決定することを可能にし、モデルが既存のプログラミング機能をコンピュータのインタラクションに直接適用できるようにする。 また、固定されたハーネスルールからモデルへ、選択された観測とタスク状態の決定を移動させるハーネス・ツー・モデル決定の転送を提案する。 OSWorld-v2では、GPT-6 AstraやClaude Opus 5を含む8つの評価モデルでタスクスコアが改善され、平均部分スコアが+19.6ポイント、報告されたタスク毎ステップが平均53.0%削減された。 我々は8つのモデルすべての実装とプロンプト、評価トラジェクトリ、実デバイスハーネスとクロスデバイスSDKの予備バージョンをリリースする。 このハーネスは、ベンチマークによって完全にキャプチャされない実際のデバイス課題に対処する一方、SDKはコンピュータ、モバイル、ブラウザ間で共通のプログラミングインターフェースを提供する。 実デバイスハーネス下での4つの実際のmacOSタスクの中で、選択されたQwen3.8-Maxは、GPT-6 Astraと報告されている多くの推論トークンの19.4倍を使用し、実デバイス実行効率におけるモデル間の実質的な違いを強調している。

関連論文リスト

• RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
  真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
  論文  参考訳（メタデータ） (2026-09-18T17:00:56Z)
• AcademiClaw: When Students Set Challenges for AI Agents [69.70303995121154]
  AcademiClaw(アカデミクロー)は、大学生の実際の学術的切断から直接引き出された80の複雑な長い水平タスクのベンチマークである。 最高のモデルでさえ、55%のパスレートしか達成できないことを示す。 AcademiClawとそのオープンソースデータとコードが、OpenClawコミュニティにとって有用なリソースになることを願っています。
  論文  参考訳（メタデータ） (2026-05-04T14:40:42Z)
• Computer-Using World Model [58.59112582915026]
  我々は,次のユーザインタフェース(UI)状態を予測するデスクトップソフトウェアのための世界モデルであるComputer-Using World Model (CUWM)を紹介する。 CUWMはまずエージェント関連状態変化のテキスト記述を予測し、次に次のスクリーンショットを合成するために視覚的にこれらの変化を実現する。 テスト時間動作探索を用いてCUWMを評価し、凍結エージェントが世界モデルを用いて実行前の候補動作をシミュレートし比較する。
  論文  参考訳（メタデータ） (2026-02-19T13:48:29Z)
• Computer-Use Agents as Judges for Generative User Interface [142.75272102498806]
  ComputerUse Agents (CUA) は、グラフィカルユーザインタフェース (GUI) を通じてデジタル環境を自律的に操作する能力が高まっている。 ほとんどのGUIは、人間が効率的にタスクを実行するのに不要な人間指向の動作を採用するために設計されている。 CUA は Coder でGUI の自動設計を支援することができるだろうか?
  論文  参考訳（メタデータ） (2025-11-19T16:00:02Z)
• Beyond touch-based HMI: Control your machines in natural language by utilizing large language models and OPC UA [0.0]
  本稿では,人間と機械のより自然なインターフェースへのエージェントベースのアプローチを提案する。 現在、操作におけるインタラクションのための最先端メディアであるタッチインタラクションの代わりに、提案手法により、オペレータがマシンと通信したり、テキストを送信したりすることができる。
  論文  参考訳（メタデータ） (2025-10-13T11:46:47Z)
• InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction [35.285466934451904]
  本稿では,マルチモーダル方式でコンピュータと対話できる汎用エージェントであるtextscInfantAgent-Nextを紹介する。 ひとつの大きなモデルに複雑に構築するか、モジュール性のみを提供する既存のアプローチとは異なり、当社のエージェントはツールベースと純粋な視覚エージェントを統合しています。
  論文  参考訳（メタデータ） (2025-05-16T05:43:27Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。