論文の概要: Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation

• arxiv url: http://arxiv.org/abs/2602.10356v1
• Date: Tue, 10 Feb 2026 23:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.328871
• Title: Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation
• Title（参考訳）: 環境適応のためのコンピュータ利用エージェントの自律的連続学習
• Authors: Tianci Xue, Zeyi Liao, Tianneng Shi, Zilu Wang, Kai Zhang, Dawn Song, Yu Su, Huan Sun,
• Abstract要約: ACuRLは自律的なカリキュラム強化学習フレームワークで、エージェントを人間データゼロの特定の環境に継続的に適応させる。 本研究では,環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を忘れずに4～22%の性能向上を実現した。
• 参考スコア（独自算出の注目度）: 57.65688895630163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world digital environments are highly diverse and dynamic. These characteristics cause agents to frequently encounter unseen scenarios and distribution shifts, making continual learning in specific environments essential for computer-use agents (CUAs). However, a key challenge lies in obtaining high-quality and environment-grounded agent data without relying on costly human annotation. In this work, we introduce ACuRL, an Autonomous Curriculum Reinforcement Learning framework that continually adapts agents to specific environments with zero human data. The agent first explores target environments to acquire initial experiences. During subsequent iterative training, a curriculum task generator leverages these experiences together with feedback from the previous iteration to synthesize new tasks tailored for the agent's current capabilities. To provide reliable reward signals, we introduce CUAJudge, a robust automatic evaluator for CUAs that achieves 93% agreement with human judgments. Empirically, our method effectively enables both intra-environment and cross-environment continual learning, yielding 4-22% performance gains without catastrophic forgetting on existing environments. Further analyses show highly sparse updates (e.g., 20% parameters), which helps explain the effective and robust adaptation. Our data and code are available at https://github.com/OSU-NLP-Group/ACuRL.
• Abstract（参考訳）: 現実世界のデジタル環境は非常に多様で動的です。 これらの特徴は、エージェントが目に見えないシナリオや分散シフトに頻繁に遭遇し、コンピュータ利用エージェント(CUA)に不可欠な特定の環境における連続的な学習をもたらす。 しかし、重要な課題は、コストのかかる人的アノテーションに頼ることなく、高品質で環境に配慮したエージェントデータを取得することである。 本研究では,エージェントを人間データゼロの特定の環境に継続的に適応させる自律的カリキュラム強化学習フレームワークであるACuRLを紹介する。 エージェントはまずターゲット環境を探索し、最初の経験を得る。 その後の反復トレーニングにおいて、カリキュラムタスクジェネレータは、前回のイテレーションからのフィードバックとともにこれらの経験を活用し、エージェントの現在の機能に適した新しいタスクを合成する。 信頼性の高い報酬信号を提供するために,人間による判断と93%の一致を達成したCUAの自動評価器CUAJudgeを導入する。 実験的に,本手法は環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を破滅的に忘れることなく4～22%の性能向上を実現した。 さらなる分析では、高度にスパースな更新(例えば20%のパラメータ)が示され、効果的でロバストな適応を説明するのに役立つ。 私たちのデータとコードはhttps://github.com/OSU-NLP-Group/ACuRL.comで公開されています。

関連論文リスト

• Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
  大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。 完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。 私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
  論文  参考訳（メタデータ） (2026-02-10T18:55:41Z)
• AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning [71.4322853508083]
  シミュレーション環境における強化学習の実施は、言語ベースのエージェントを強化するためのコスト効率が高く、スケーラブルな方法を提供する。 これまでの作業は、半自動化された環境合成や、十分な困難を欠いたタスクに限られており、幅や深さがほとんどない。 本稿では,高難易度かつ容易に検証可能なタスクに関連付けられたシミュレーション環境の,自動化されたスケーラブルな合成のための統一パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-28T09:43:11Z)
• CuES: A Curiosity-driven and Environment-grounded Synthesis Framework for Agentic RL [35.086788669916594]
  大規模言語モデルベースのエージェントは、複雑なツール拡張環境にますますデプロイされている。 既存のアプローチは通常、新しい環境で失敗する前提である事前定義されたタスクコレクションを仮定する。 そこで我々はCuESを提案する。CuESはキュリオシティ駆動環境基盤合成フレームワークで、多様で実行可能で有意義なタスクを自律的に生成する。
  論文  参考訳（メタデータ） (2025-12-01T06:11:37Z)
• Scaling Environments for LLM Agents in the Era of Learning from Interaction: A Survey [30.673419015614233]
  エージェントは環境と直接対話し、強化学習を通じて経験から学ぶべきだという意見が高まりつつある。 本稿では,この反復処理をGEFループとして定式化し,環境がエージェントに挑戦するためのタスクを生成し,タスク実行中のエージェントの動作に応答して観察を返却し,その後の学習のためのロールアウトに対する評価フィードバックを提供する。 このパラダイムの下では、環境は経験的データの必須生産元として機能し、より複雑な、現実主義、対話性へのスケールの必要性を強調している。
  論文  参考訳（メタデータ） (2025-11-12T12:56:25Z)
• Agent Learning via Early Experience [93.83579011718858]
  言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。 現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。 本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:17Z)
• Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments [33.83610929282721]
  Learn-by-interactは、大規模な言語モデル(LLM)を人間のアノテーションなしで任意の環境に適用するための、データ中心のフレームワークである。 我々は、トレーニングベースのシナリオとトレーニング不要なインコンテキスト学習(ICL)の両方でそれらを用いて、合成データの質を評価する。 SWE-bench、WebArena、OSWorld、Spider2-Vが現実的なコーディング、Web、デスクトップ環境にまたがる実験は、Learning-by-interactの有効性を示している。
  論文  参考訳（メタデータ） (2025-01-18T22:34:41Z)
• Improving adaptability to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents [3.5786621294068373]
  強化学習(RL)エージェントを目に見えない環境に適応させることは、トレーニング環境に典型的な過度な適合のために難しい課題である。 破滅的な忘れ込みの危険性があり、これまで見られた環境のパフォーマンスが著しく妨げられている。 本稿では,エージェントのエコシステムを利用して双方の懸念に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-13T17:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。