論文の概要: OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

• arxiv url: http://arxiv.org/abs/2610.22234v1
• Date: Thu, 15 Oct 2026 17:14:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.219001
• Title: OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents
• Title（参考訳）: OS-Helix: ネイティブコンピュータ利用エージェントにおけるGUIインタラクションとコード実行の統合
• Abstract要約: エンド・ツー・エンドのマルチモーダル・コンピュータ・エージェントであるOS-Helixについて述べる。 RLでは、生のアシスタントトークンではなく、アクションステップで重みを集約するステップバランス付きGSPOを提案する。
• 参考スコア（独自算出の注目度）: 53.608021940850016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real desktop automation is neither purely visual nor purely programmatic. Agents must understand user-facing interfaces while efficiently manipulating files, scripts, and system state. However, native GUI/code coordination cannot be obtained by prompt-level tool composition. In our preliminary experiments, naively adding a code tool degrades a GUI agent, revealing that GUI/code routing must be internalized through training on high-quality hybrid data. We present OS-Helix, an end-to-end trained multimodal computer-using agent that unifies GUI actions and code execution in one action space. To construct the required supervision, we introduce application-artifact composition, pairing desktop applications with authentic file artifacts to instantiate executable Ubuntu states, and a decoupled instruction/evaluator generation pipeline that produces environment-grounded tasks whose final states can be verified regardless of the solution modality. We cold-start the policy with SFT on filtered hybrid data and further improve it through online RL in live desktop environments. For RL, we propose Step-balanced GSPO, which aggregates importance weight by action step rather than raw assistant tokens to prevent long code actions from dominating heterogeneous-action optimization. On OSWorld-Verified, OS-Helix-27B and OS-Helix-35B-A3B achieve relative improvements of 35.0% and 33.7% over their matched Qwen3.5 hybrid baselines, while OS-Helix-27B-RL further improves by 42.9% to reach 66.44% success. Ablations provide evidence consistent with contributions from learned GUI/code coordination, scalable verifiable supervision, and action step balanced optimization, while demonstrating cross-platform transfer on WindowsAgentArena. Our project homepage is at https://os-copilot.github.io/OS-Helix/.
• Abstract（参考訳）: 実際のデスクトップ自動化は純粋に視覚的でも純粋にプログラム的でもない。 エージェントは、ファイル、スクリプト、システム状態を効率的に操作しながら、ユーザインターフェースを理解する必要がある。 しかし、プロンプトレベルのツール構成では、ネイティブGUI/コード調整は得られない。 予備実験では,GUIエージェントにコードツールを追加することで,GUI/コードルーティングが高品質なハイブリッドデータのトレーニングを通じて内部化されなければならないことが明らかになった。 エンド・ツー・エンドのマルチモーダル・コンピュータ・エージェントであるOS-Helixについて述べる。 そこで本研究では,アプリケーション・アーティファクト・コンポジションを導入し,実行可能Ubuntuステートをインスタンス化するデスクトップアプリケーションと,最終状態がソリューションのモダリティによらず検証可能な環境下でのタスクを生成する非結合命令/評価器生成パイプラインについて紹介する。 我々は、SFTによるハイブリッドデータのフィルタリングに関するポリシーをコールドスタートし、ライブデスクトップ環境でのオンラインRLによりさらに改善する。 RLでは,長いコード動作がヘテロジニアス・アクションの最適化を支配できないよう,アクション・トークンではなくアクション・ステップで重みを集約するステップバランス付きGSPOを提案する。 OSWorld-Verifiedでは、OS-Helix-27BとOS-Helix-35B-A3Bが、マッチしたQwen3.5のベースラインよりも35.0%と33.7%の相対的な改善を達成し、OS-Helix-27B-RLはさらに42.9%向上して66.44%の成功を収めた。 アブレーションは、学習したGUI/コードの調整、スケーラブルな検証可能な監視、アクションステップのバランスの取れた最適化からの貢献と一致し、WindowsAgentArena上でクロスプラットフォーム転送を実証する証拠を提供する。 プロジェクトのホームページはhttps://os-copilot.github.io/OS-Helix/です。

関連論文リスト

• AutoGUIWorld: Image Generators as Visual World Models for GUI Agent [24.045452652419858]
  本稿では,GUIインタラクショントラジェクトリを,対応するソフトウェア環境のデプロイや実行なしに合成するフレームワークであるAutoGUIWorldを紹介する。 AutoGUIWorldは、オペレーティングシステムコンテキスト、視覚的外観、インターフェース状態の構造化仕様から初期GUIシーンをサンプリングし、それらのシーンで条件付けられたタスクを生成する。 その後、プランナーはアトミックアクションとその意図した視覚効果を指定し、画像生成器は現在のスクリーンショットを反復的に編集してその後の観察を行う。
  論文  参考訳（メタデータ） (2026-10-01T07:22:53Z)
• HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents [18.355727744821355]
  コンピュータ利用エージェント(CUA)は、デジタルタスクを完了させる強力な能力を示している。 次世代CUAはGUIインタラクションとコマンドラインインターフェース(CLI)を組み合わせるべきだと我々は主張する。 重要な課題は、現在のモデルがタスク実行中にCLIを使用するタイミングや使い方を知らないことだ。
  論文  参考訳（メタデータ） (2026-09-29T16:57:25Z)
• CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents [57.098070497654874]
  コンピュータ利用エージェントはOSWorldやAndroidWorldのようなベンチマークに進歩してきたが、いまだGUIを通して動作している。 本稿では,スケーラブルな環境間パイプラインCUA-Universeを紹介する。
  論文  参考訳（メタデータ） (2026-09-04T17:26:18Z)
• SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL [38.05711358650287]
  コンピュータ利用エージェント(CUA)は、視覚認識とGUI実行を通じて複雑なデジタルを自動化する強力なインターフェースとして登場しつつある。 検証可能な報酬(RLVR)を備えたオンライン強化学習は、その能力をスケールアップするための重要な方向として現れている。 検証可能なタスク合成と効率的なトレーニングを通じてCUAのオンラインRLをスケールする統合フレームワークであるScaleCUAを紹介する。
  論文  参考訳（メタデータ） (2026-07-13T07:32:35Z)
• ToolCUA: Towards Optimal GUI-Tool Path Orchestration for Computer Use Agents [87.63969994744133]
  Computer Use Agents (CUA) は、クリックやタイプのようなアトミックGUIアクションと、APIベースのファイル操作のようなハイレベルなツールコールの両方を通じて動作することができる。 この困難は、高品質なインターリーブGUIツール軌跡の不足、実際のツール軌跡収集のコストと脆さ、GUIツールパス選択のための軌道レベルの監督の欠如に起因する。 本稿では,GUI-Tool経路選択を段階的学習パラダイムを用いて学習するためのエンドツーエンドエージェントであるToolCUAを提案する。
  論文  参考訳（メタデータ） (2026-05-12T17:57:04Z)
• Mobile-Agent-v3: Fundamental Agents for GUI Automation [59.775510710011325]
  本稿では,オープンソースエンド・ツー・エンド・モデル間の最先端性能を実現する基礎的なGUIエージェントモデルを提案する。 汎用GUIエージェントフレームワークであるMobile-Agent-v3を提案し,AndroidWorldでは73.3,OSWorldでは37.7に向上した。
  論文  参考訳（メタデータ） (2025-08-21T00:39:12Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。