Fugu-MT 論文翻訳(概要): Computer-Use Agents Gain Little Benefit from a World Model When Conditioned on Tutorials

論文の概要: Computer-Use Agents Gain Little Benefit from a World Model When Conditioned on Tutorials

arxiv url: http://arxiv.org/abs/2611.04073v1
Date: Mon, 02 Nov 2026 23:36:18 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-04 17:46:44.904133
Title: Computer-Use Agents Gain Little Benefit from a World Model When Conditioned on Tutorials
Title（参考訳）: コンピュータ・ユース・エージェントは、チューターを前提とした世界モデルから少し利益を得る
Abstract要約: 近年,検索したタスク関連チュートリアルと世界モデルを用いたルックアヘッド計画とMLLM審査員との併用により,コンピュータ利用エージェント(CUA)の改良が進められている。各コンポーネント(チュートリアル、審査員、世界モデル)の全体的な改善に対する貢献は、独立して評価されていない。 RAG-PolicyJudgeは,タスク固有のチュートリアルに条件付きCUAのためのポリシージャッジフレームワークである。
参考スコア（独自算出の注目度）: 34.32469893155288
License:
Abstract: Recent work has improved computer-use agents (CUAs) by combining retrieved task-relevant tutorials and look-ahead planning using world models with MLLM judges. However, the contribution of each component -- tutorials, the judge, and the world model -- to overall improvement has not been evaluated in isolation. To fill this gap, we first construct OSWorld-Tutorial and ScienceBoard-Tutorial: two datasets for CUAs with curated multimodal tutorials, covering everyday and scientific domains. We then propose RAG-PolicyJudge (RAG-PJ), a policy-judge framework for CUAs conditioned on task-specific tutorials: the policy proposes candidate actions, and the judge selects among them. To isolate the effect of world models given tutorials, we compare RAG-PJ with and without common world models: using either zero-shot text-based descriptions of next states or an oracle that returns ground-truth visual observations. We find that RAG-PJ gains little benefit from these rollouts when tutorials are present, even with perfect visual futures. This suggests prior world-model gains in tutorial-conditioned methods come mainly from tutorial understanding and the judge's ability to select the proposed actions, rather than from predicted rollouts. Error analysis reveals that the bottleneck is not rollout fidelity, but the judge's ability to reason over future states and recognize task completion. This highlights the need to improve not just next-state prediction in world models, but also reasoning over their predicted rollouts. Datasets and code are available at https://github.com/realjoenguyen/RAGPJ-official.
Abstract（参考訳）: 近年,検索したタスク関連チュートリアルと世界モデルを用いたルックアヘッド計画とMLLM審査員との併用により,コンピュータ利用エージェント(CUA)の改良が進められている。しかしながら、チュートリアル、審査員、世界モデルといった各コンポーネントの全体的な改善への貢献は、独立して評価されていない。このギャップを埋めるために、我々はまずOSWorld-TutorialとScienceBoard-Tutorialを構築した。次に、タスク固有のチュートリアルに規定されたCUAのためのポリシージャッジフレームワークであるRAG-PolicyJudge(RAG-PJ)を提案する。チュートリアルを施した世界モデルの効果を分離するため,RAG-PJと一般世界モデルとの比較を行った。 RAG-PJはチュートリアルが存在する場合、たとえ完璧な視覚的未来であっても、ロールアウトによってほとんど利益を得ないことがわかった。これは、チュートリアル条件付き手法における事前のワールドモデルゲインは、主にチュートリアル理解と、予測されたロールアウトではなく、提案されたアクションを選択する裁判官の能力から来ていることを示唆している。エラー分析は、ボトルネックはロールアウトの忠実さではなく、将来の状態を推論し、タスク完了を認識する裁判官の能力であることを示している。これは、世界のモデルにおける次世代の予測だけでなく、予想されるロールアウトの理由も改善する必要性を強調している。データセットとコードはhttps://github.com/realjoenguyen/RAGPJ-officialで入手できる。

論文の概要: Computer-Use Agents Gain Little Benefit from a World Model When Conditioned on Tutorials

関連論文リスト