論文の概要: LegacyWorld: Atomicity-Aware Evaluation of GUI Agents for Legacy Workflows
- arxiv url: http://arxiv.org/abs/2608.14131v1
- Date: Fri, 14 Aug 2026 09:36:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.340224
- Title: LegacyWorld: Atomicity-Aware Evaluation of GUI Agents for Legacy Workflows
- Title（参考訳）: LegacyWorld: レガシーワークフローのためのGUIエージェントの原子性を考慮した評価
- Abstract要約: 本稿では,レガシユースの発展を動機とした,事前デプロイ評価研究について報告する。
実行は意図したワークフローを正しく完了させるか、意図しない永続的な副作用なしで失敗するべきである。
AIベースのレガシーワークフロー自動化の第一級要件は、ワークフローキャプチャ、状態検証、アトミック性を考慮した受け入れテストであるべきだ、と私たちは結論付けています。
- 参考スコア（独自算出の注目度）: 39.40948181220988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Legacy and legacy-like enterprise systems often remain difficult to modernize because critical workflows expose limited programmable interfaces and still require manual GUI interaction. This paper reports a pre-deployment evaluation study motivated by the development of legacy-use, an industry-oriented framework for automating such workflows with multimodal LLM agents. During framework development, domain experts helped identify stateful workflows where successful demos are not sufficient: a failed agent run may still leave persistent invalid changes in business or healthcare records. We therefore evaluate computer-use agents using atomicity: a run should either complete the intended workflow correctly or fail without unintended persistent side effects. We construct a domain-expert-informed benchmark of 28 Windows GUI workflows, each specified with an initial state, goal state, and task-specific validator. We compare expert-crafted prompts with prompts generated from screen recordings of expert golden-path executions. Across six hosted computer-use agents, our results show that useful completion, safe failure, and non-atomic side effects are distinct operational profiles. We conclude that workflow capture, state validators, and atomicity-aware acceptance tests should be first-class requirements for AI-based legacy workflow automation.
- Abstract（参考訳）: レガシーやレガシのようなエンタープライズシステムは、重要なワークフローが限られたプログラマブルインターフェースを公開し、手動のGUI操作を必要とするため、現代化が困難であることが多い。
本稿では,マルチモーダルLLMエージェントによるワークフローの自動化を目的とした産業向けフレームワークであるレガシユースの開発を動機とした,事前デプロイ評価研究について報告する。
フレームワーク開発の間、ドメインエキスパートは、成功しているデモが不十分なステートフルなワークフローを特定するのを助けた。
実行は意図したワークフローを正しく完了させるか、意図しない永続的な副作用なしで失敗するべきである。
そこで我々は,初期状態,目標状態,タスク固有のバリデータを備えた,28のWindows GUIワークフローのドメイン専門家によるベンチマークを構築した。
専門家によるプロンプトと、専門家によるゴールデンパス実行の画面記録から生成されたプロンプトを比較した。
コンピュータ利用エージェントを6つに分けて,本研究の結果から, 有効性, 安全性, 非原子的副作用は, それぞれ異なる操作プロファイルであることが判明した。
AIベースのレガシーワークフロー自動化の第一級要件は、ワークフローキャプチャ、状態検証、アトミック性を考慮した受け入れテストであるべきだ、と私たちは結論付けています。
関連論文リスト
- StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows [63.57092302641323]
textbfStartupBenchは、市場価値の高いAIスタートアップ製品に根ざしたE2Eエージェントベンチマークである。
我々は、AIが現実的な需要を確立した現実的なタスクを特定するために、製品やユーザとともに、AI製品の採用を実証して研究する。
以上の結果から,現在の汎用エージェントの信頼性を超越した,市場価値の高いエージェントが多数存在することが明らかとなった。
論文 参考訳（メタデータ） (2026-08-18T14:01:32Z) - Beyond Generalist LLMs: Specialist Agentic Systems for Structured Code Workflow Execution [0.40631409309544836]
大規模言語モデル(LLM)は、ソフトウェア開発エージェントの採用を加速し、現在、統合開発環境(IDE)拡張やスタンドアロンアプリケーションとして広く利用されています。
これらのエージェントは一般的に汎用的であるが、専門家がさらなる開発努力を正当化するかどうかは不明だ。
ビジネスプロセス・モデルと表記法(BPMN)のダイアグラムを実行可能なエージェントに変換することに焦点を当て、ビジネスプロセスの自動化という文脈でこの問題を考察する。
論文 参考訳（メタデータ） (2026-07-16T01:06:38Z) - From Specification to Execution: AI Assisted Scientific Workflow Management [0.7507031378170735]
本稿では,AIを活用した科学ワークフロー管理手法を提案する。
このメソッドは、ワークフローの意図、設計、実装を分離する構造化された仕様フェーズを導入し、コード生成に先立って検証を可能にする。
本手法は, 並列性, 反復性, 依存性集約構造で選択された医用画像にフェデレートした学習ワークフローを用いて評価する。
論文 参考訳（メタデータ） (2026-06-16T19:21:09Z) - Workflow-GYM: Towards Long-Horizon Evaluation of Computer-use Agentic tasks in Real-World Professional Fields [91.11458140756208]
本稿では,専門分野と専門ソフトウェア環境を中心とした長期GUIタスクのベンチマークを紹介する。
最強のモデルでさえ、30%以上の成功率しか達成していません。
本研究は,現在のエージェントシステムの限界について重要な知見を提供し,次世代のGUIエージェント研究の鍵となる方向性を示唆するものである。
論文 参考訳（メタデータ） (2026-06-09T16:10:16Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - GraphFlow: An Architecture for Formally Verifiable Visual Workflows Enabling Reliable Agentic AI Automation [0.0]
GraphFlowは、ミッションクリティカルなプロセスにおけるエージェントAI自動化の信頼性向上を目的とした、ビジュアルワークフローシステムである。
既存のワークフロープラットフォームは、耐久性のある実行と可観測性を提供するが、セマンティックな正確性を保証するものはほとんどない。
3つの臨床現場で1年間のパイロットが8,728件のコホート登録ワークフローを実行し、97.08%の完成率を記録した。
論文 参考訳（メタデータ） (2026-05-14T15:33:05Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows [90.35728421223673]
GTA-2はジェネラル・ツール・エージェント(GTA)の階層的なベンチマークである
現実世界の認証に基づいて構築され、実際のユーザクエリ、デプロイツール、マルチモーダルコンテキストを活用する。
実験では、フロンティアモデルは既に原子タスクに苦戦しているが、トップモデルは14.39%の成功しか達成していない。
論文 参考訳（メタデータ） (2026-04-17T05:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。