論文の概要: ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents

• arxiv url: http://arxiv.org/abs/2508.14040v2
• Date: Tue, 21 Oct 2025 05:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:09.234344
• Title: ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents
• Title（参考訳）: ComputerRL: コンピュータ利用エージェントのためのオンライン強化学習のエンドツーエンド化
• Authors: Hanyu Lai, Xiao Liu, Yanxiao Zhao, Han Xu, Hanchen Zhang, Bohao Jing, Yanyu Ren, Shuntian Yao, Yuxiao Dong, Jie Tang,
• Abstract要約: 自律デスクトップインテリジェンスのためのフレームワークComputerRLを紹介する。 ComputerRLは、プログラム的なAPI呼び出しと直接GUIインタラクションを統合するAPI-GUIパラダイムを備えている。 本稿では,強化学習と教師付き微調整を交互に行う訓練戦略であるEntropulseを提案する。
• 参考スコア（独自算出の注目度）: 40.033250603445246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce ComputerRL, a framework for autonomous desktop intelligence that enables agents to operate complex digital workspaces skillfully. ComputerRL features the API-GUI paradigm, which unifies programmatic API calls and direct GUI interaction to address the inherent mismatch between machine agents and human-centric desktop environments. Scaling end-to-end RL training is crucial for improvement and generalization across diverse desktop tasks; however, it remains challenging due to environmental inefficiency and instability during extended training. To support scalable and robust training, we develop a distributed RL infrastructure capable of orchestrating thousands of parallel virtual desktop environments to accelerate large-scale online RL. Furthermore, we propose Entropulse, a training strategy that alternates reinforcement learning with supervised fine-tuning, effectively mitigating entropy collapse during extended training runs. We employ ComputerRL on open models GLM-4-9B-0414 and GLM-4.1V-9B-Thinking, and evaluate them on the OSWorld benchmark. The AutoGLM-OS-9B achieves a new state-of-the-art accuracy of 48.9%, demonstrating significant improvements for general agents in desktop automation. Our code and the new OfficeWorld benchmark are available at https://github.com/thudm/ComputerRL. The algorithm and framework are adopted in building AutoGLM (Liu et al., 2024b).
• Abstract（参考訳）: 我々は,エージェントが複雑なデジタルワークスペースを巧みに操作できるようにする,自律デスクトップインテリジェンスのためのフレームワークであるComputerRLを紹介する。 ComputerRLは、プログラム的なAPI呼び出しと直接GUIインタラクションを統合し、マシンエージェントと人間中心のデスクトップ環境間の固有のミスマッチに対処するAPI-GUIパラダイムを備えている。 エンド・ツー・エンドのRLトレーニングのスケーリングは、様々なデスクトップタスクにおける改善と一般化に不可欠である。 スケーラブルでロバストなトレーニングを支援するため,大規模なオンラインRLを高速化するために,数千の仮想デスクトップ環境を並列に編成できる分散RLインフラストラクチャを開発した。 さらに,強化学習と教師付き微調整を交互に行う訓練戦略であるEntropulseを提案する。 我々はオープンモデル GLM-4-9B-0414 と GLM-4.1V-9B-Thinking に ComputerRL を採用し,OSWorld ベンチマークで評価した。 AutoGLM-OS-9Bは48.9%の最先端の精度を実現し、デスクトップ自動化における汎用エージェントの大幅な改善が示されている。 私たちのコードと新しいOfficeWorldベンチマークはhttps://github.com/thudm/ComputerRL.orgで公開されています。 アルゴリズムとフレームワークはAutoGLM(Liu et al , 2024b)の構築に採用されている。

関連論文リスト

• AgentFly: Extensible and Scalable Reinforcement Learning for LM Agents [25.735754822676277]
  言語モデル(LM)エージェントは、自律的にタスクを完了させる能力において、大きな注目を集めている。 強化学習(RL)は、推論や事実性など、LMの能力を高めるために研究されている。 AgentFlyは、多様なRLアルゴリズムでLMエージェントを強化するために設計されたスケーラブルでエージェント-RLフレームワークである。
  論文  参考訳（メタデータ） (2025-07-20T10:22:36Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)
• DPO Learning with LLMs-Judge Signal for Computer Use Agents [9.454381108993832]
  コンピュータ・ユース・エージェント(CUA)は、グラフィカル・ユーザー・インタフェース(GUI)と自動的に対話してタスクを完了させるシステムである。 ローカルマシン上で完全に動作する軽量な視覚言語モデルを開発した。
  論文  参考訳（メタデータ） (2025-06-03T17:27:04Z)
• OpenThinkIMG: Learning to Think with Images via Visual Tool Reinforcement Learning [57.89304342666846]
  OpenThinkIMGは、ツール拡張LVLMのための、最初のオープンソースで包括的なエンドツーエンドフレームワークです。 本稿では,LVLMを学習し,外部視覚ツールを起動するための適応的なポリシーを学ぶための,新しい強化学習フレームワークV-ToolRLを提案する。 V-ToolRLにより、LVLMは最適なツール利用戦略を自律的に発見できる。
  論文  参考訳（メタデータ） (2025-05-13T14:35:51Z)
• A General Infrastructure and Workflow for Quadrotor Deep Reinforcement Learning and Reality Deployment [48.90852123901697]
  本稿では, エンドツーエンドの深層強化学習(DRL)ポリシーを四元数へシームレスに移行できるプラットフォームを提案する。 本プラットフォームは, ホバリング, 動的障害物回避, 軌道追尾, 気球打上げ, 未知環境における計画など, 多様な環境を提供する。
  論文  参考訳（メタデータ） (2025-04-21T14:25:23Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• AutoGLM: Autonomous Foundation Agents for GUIs [51.276965515952]
  我々は、グラフィカルユーザインタフェース(GUI)を介してデジタルデバイスを自律的に制御するための基礎エージェントとして設計された、ChatGLMファミリーの新しいシリーズであるAutoGLMを紹介する。 実世界のGUIインタラクションのための実践的基礎エージェントシステムとしてAutoGLMを開発した。 評価では、AutoGLMが複数のドメインにまたがって有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-28T17:05:10Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)
• Hyperparameter Tuning for Deep Reinforcement Learning Applications [0.3553493344868413]
  本稿では,分散可変長遺伝的アルゴリズムを用いて,様々なRLアプリケーションに対してハイパーパラメータをチューニングする手法を提案する。 以上の結果から, より世代を要し, トレーニングエピソードが少なく, 計算コストも安価で, デプロイの堅牢性も高い最適解が得られた。
  論文  参考訳（メタデータ） (2022-01-26T20:43:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。