論文の概要: STEVE: AStep Verification Pipeline for Computer-use Agent Training

• arxiv url: http://arxiv.org/abs/2503.12532v1
• Date: Sun, 16 Mar 2025 14:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:07.864587
• Title: STEVE: AStep Verification Pipeline for Computer-use Agent Training
• Title（参考訳）: STEVE:コンピュータエージェントトレーニングのためのステップ検証パイプライン
• Authors: Fanbin Lu, Zhisheng Zhong, Ziqin Wei, Shu Liu, Chi-Wing Fu, Jiaya Jia,
• Abstract要約: STEVEは、コンピュータ使用エージェントトレーニングのためのステップ検証パイプラインである。 GPT-4oは、動作実行前後の画面に基づいて、軌跡の各ステップの正当性を検証するために使用される。 我々のエージェントは、軌道内での正と負の両方の作用を利用して微調整を監督する。
• 参考スコア（独自算出の注目度）: 84.24814828303163
• License:
• Abstract: Developing AI agents to autonomously manipulate graphical user interfaces is a long challenging task. Recent advances in data scaling law inspire us to train computer-use agents with a scaled instruction set, yet using behavior cloning to train agents still requires immense high-quality trajectories. To meet the scalability need, we designed STEVE, a step verification pipeline for computer-use agent training. First, we establish a large instruction set for computer-use agents and collect trajectory data with some suboptimal agents. GPT-4o is used to verify the correctness of each step in the trajectories based on the screens before and after the action execution, assigning each step with a binary label. Last, we adopt the Kahneman and Tversky Optimization to optimize the agent from the binary stepwise labels. Extensive experiments manifest that our agent outperforms supervised finetuning by leveraging both positive and negative actions within a trajectory. Also, STEVE enables us to train a 7B vision-language model as a computer-use agent, achieving leading performance in the challenging live desktop environment WinAgentArena with great efficiency at a reduced cost. Code and data: https://github.com/FanbinLu/STEVE.
• Abstract（参考訳）: グラフィカルユーザーインターフェースを自律的に操作するAIエージェントの開発は、長い課題である。 データスケーリング法則の最近の進歩は、スケールした命令セットでコンピュータ使用エージェントを訓練するきっかけとなったが、それでも、エージェントに振る舞いのクローンを使うことは、非常に高品質な軌道を必要とする。 スケーラビリティの要求を満たすため、コンピュータ利用エージェントトレーニングのためのステップ検証パイプラインであるSTEVEを設計した。 まず,コンピュータ利用エージェントのための大規模命令セットを構築し,いくつかの準最適エージェントを用いた軌道データ収集を行う。 GPT-4oは、アクション実行前後の画面に基づいて、軌跡の各ステップの正当性を検証し、各ステップにバイナリラベルを割り当てる。 最後に、二進ラベルからエージェントを最適化するために、KahnemanとTversky最適化を採用します。 広範囲な実験により,我々のエージェントは,軌道内での正と負の両方の作用を活用することにより,監督された微調整よりも優れていたことが判明した。 また,STEVEでは,コンピュータ利用エージェントとして7B視覚言語モデルをトレーニングし,デスクトップ環境の挑戦的環境であるWinAgentArenaにおいて,高い効率で高い性能を実現することができる。 コードとデータ:https://github.com/FanbinLu/STEVE.com

関連論文リスト

• STeCa: Step-level Trajectory Calibration for LLM Agent Learning [9.678098205818566]
  大規模言語モデル(LLM)ベースのエージェントは、環境と動的に相互作用することで複雑なタスクに取り組むことを約束している。 LLMエージェント学習のための新しいフレームワークであるStep-Level Trajectory (STeCa)を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:28:44Z)
• OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis [55.390060529534644]
  グラフィカルユーザインタフェース(GUI)エージェントのための新しいデータ合成パイプラインであるOS-Genesisを提案する。 事前に定義されたタスクに頼る代わりに、OS-Genesisはエージェントがまず環境を認識し、ステップワイドなインタラクションを実行することを可能にする。 次に、生成された軌道の品質を保証するために軌道報酬モデルを用いる。
  論文  参考訳（メタデータ） (2024-12-27T16:21:58Z)
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。 本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。 完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• SmartAgent: Chain-of-User-Thought for Embodied Personalized Agent in Cyber World [50.937342998351426]
  COUT(Chain-of-User-Thought)は、新しい推論パラダイムである。 我々は、サイバー環境を認識し、パーソナライズされた要求を推論するエージェントフレームワークであるSmartAgentを紹介する。 我々の研究は、まずCOUTプロセスを定式化し、パーソナライズされたエージェント学習を具体化するための予備的な試みとして役立ちます。
  論文  参考訳（メタデータ） (2024-12-10T12:40:35Z)
• Agent S: An Open Agentic Framework that Uses Computers Like a Human [31.16046798529319]
  我々は、GUI(Graphical User Interface)を通じてコンピュータとの自律的なインタラクションを可能にするオープンエージェントフレームワークであるAgent Sを提案する。 Agent Sは、ドメイン固有の知識の取得、長いタスクの水平線の計画、動的で一様でないインターフェイスの処理という、コンピュータタスクの自動化における3つの重要な課題に対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-10T17:43:51Z)
• A Zero-Shot Language Agent for Computer Control with Structured Reflection [19.526676887048662]
  大規模言語モデル(LLM)は、ライブコンピュータ環境での高レベルな目標の計画と実行能力の向上を示している。 タスクを実行するために、最近の作業は、しばしば、教師付き学習または少数/多発的なプロンプトを通じてタスクのトレース例から学習するモデルを必要とする。 我々は、与えられた専門家のトレースを必要としないゼロショットエージェントでこの問題にアプローチする。
  論文  参考訳（メタデータ） (2023-10-12T21:53:37Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。