論文の概要: World of Workflows: a Benchmark for Bringing World Models to Enterprise Systems
- arxiv url: http://arxiv.org/abs/2601.22130v1
- Date: Thu, 29 Jan 2026 18:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:50.094619
- Title: World of Workflows: a Benchmark for Bringing World Models to Enterprise Systems
- Title（参考訳）: World of Workflows: エンタープライズシステムに世界モデルをもたらすベンチマーク
- Abstract要約: 最前線の大規模言語モデル(LLM)は多くの領域で優れているが、複雑なエンタープライズシステムではテストされていない。
WoW(World of Warcraft)は,4,000以上のビジネスルールと55のアクティブな組み込み機能を備えた,現実的なServiceNowベースの環境である。
筆者らは,(1)フロンティアLSMはダイナミックス障害に悩まされ,その行動の不可視的かつカスケードな副作用を常に予測できないこと,(2)不透明なシステムにおける信頼性には,隠れた状態遷移を精神的にシミュレートし,高忠実なフィードバックが得られない場合に可観測性ギャップを橋渡ししなければならない,という2つの主要な特徴を明らかにした。
- 参考スコア（独自算出の注目度）: 6.643798239990755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier large language models (LLMs) excel as autonomous agents in many domains, yet they remain untested in complex enterprise systems where hidden workflows create cascading effects across interconnected databases. Existing enterprise benchmarks evaluate surface-level agentic task completion similar to general consumer benchmarks, ignoring true challenges in enterprises, such as limited observability, large database state, and hidden workflows with cascading side effects. We introduce World of Workflows (WoW), a realistic ServiceNow-based environment incorporating 4,000+ business rules and 55 active workflows embedded in the system, alongside WoW-bench, a benchmark of 234 tasks evaluating constrained agentic task completion and enterprise dynamics modeling capabilities. We reveal two major takeaways: (1) Frontier LLMs suffer from dynamics blindness, consistently failing to predict the invisible, cascading side effects of their actions, which leads to silent constraint violations, and (2) reliability in opaque systems requires grounded world modeling, where agents must mentally simulate hidden state transitions to bridge the observability gap when high-fidelity feedback is unavailable. For reliable and useful enterprise agents, WoW motivates a new paradigm to explicitly learn system dynamics. We release our GitHub for setting up and evaluating WoW.
- Abstract（参考訳）: 最前線の大規模言語モデル(LLM)は、多くのドメインにおいて自律的なエージェントとして優れているが、隠れワークフローが相互接続されたデータベース間のカスケード効果を生み出す複雑なエンタープライズシステムでは、まだテストされていない。
既存のエンタープライズベンチマークでは、一般消費者のベンチマークと同様、表面レベルのエージェントタスク補完を評価しており、観測可能性の制限、大規模なデータベース状態、カスケードサイドエフェクトを備えた隠れワークフローなど、企業における真の課題を無視している。
WoW-bench(WoW-bench)は、制約されたエージェントタスクの完了とエンタープライズ動的モデリング機能を評価する234のタスクのベンチマークである。
筆者らは,(1)フロンティアLSMはダイナミックス障害に悩まされ,その行動の不可視的かつカスケードな副作用を常に予測できないこと,(2)不透明なシステムにおける信頼性には,隠れた状態遷移を精神的にシミュレートし,高忠実なフィードバックが得られない場合に可観測性ギャップを橋渡ししなければならない,という2つの主要な特徴を明らかにした。
信頼性と有用なエンタープライズエージェントのために、WoWはシステムダイナミクスを明示的に学習する新しいパラダイムを動機付けている。
WoWのセットアップと評価のためにGitHubをリリースしています。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks [98.07146747892239]
OSWorld 2.0は、日常的および専門的なタスクにまたがる108の長い水平コンピュータ使用のベンチマークである。
各タスクは現実的なエンド・ツー・エンドのワークフローを表しており、人間のユーザーの中央値は1.6時間である。
論文 参考訳（メタデータ） (2026-06-28T17:59:17Z) - Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。
調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。
実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-12T12:32:24Z) - AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。
MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。
本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-25T11:09:22Z) - Do Enterprise Systems Need Learned World Models? The Importance of Context to Infer Dynamics [16.09809323840653]
オフラインでトレーニングされた世界モデルは、動的に変化するにつれて、よく分布するが劣化するが、発見に基づくエージェントは、より堅牢であることを示す。
企業環境では、エージェントは固定された内部化ダイナミクスのみに頼るのではなく、実行時に関連するトランジションロジックを発見するメカニズムを組み込むことを示唆している。
論文 参考訳（メタデータ） (2026-05-12T14:22:10Z) - TopoPilot: Reliable Conversational Workflow Automation for Topological Data Analysis and Visualization [4.62716665682001]
TopoPilotは、複雑な科学的視覚化を自動化するための信頼性が高くエージェント的なフレームワークである。
TopoPilotは、信頼性の高い運用を保証するために、系統的なガードレールと検証メカニズムを組み込んでいる。
評価では、TopoPilotは99%以上の成功率を達成したが、ベースラインでは50%以下で、包括的なガードレールやチェックがない。
論文 参考訳（メタデータ） (2026-03-26T05:56:53Z) - BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。
外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。
この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
論文 参考訳（メタデータ） (2026-03-03T17:52:01Z) - Computer-Using World Model [58.59112582915026]
我々は,次のユーザインタフェース(UI)状態を予測するデスクトップソフトウェアのための世界モデルであるComputer-Using World Model (CUWM)を紹介する。
CUWMはまずエージェント関連状態変化のテキスト記述を予測し、次に次のスクリーンショットを合成するために視覚的にこれらの変化を実現する。
テスト時間動作探索を用いてCUWMを評価し、凍結エージェントが世界モデルを用いて実行前の候補動作をシミュレートし比較する。
論文 参考訳（メタデータ） (2026-02-19T13:48:29Z) - EntWorld: A Holistic Environment and Benchmark for Verifiable Enterprise GUI Agents [12.7922877987936]
EntWorldは6つの代表的なエンタープライズドメインにわたる1,756タスクからなる大規模なベンチマークである。
基礎となるデータベーススキーマからビジネスロジックを直接リバースエンジニアリングするスキーマ基底タスク生成フレームワークを提案する。
現状のモデルでは,EntWorldで47.61%の成功率を達成した。
論文 参考訳（メタデータ） (2026-01-25T06:58:15Z) - What Do LLM Agents Know About Their World? Task2Quiz: A Paradigm for Studying Environment Understanding [50.35012849818872]
大規模言語モデル(LLM)エージェントは、複雑な意思決定やツール使用タスクにおいて顕著な能力を示した。
本研究では,タスク実行と世界状態理解の分離を目的とした決定論的かつ自動評価パラダイムであるTask-to-Quiz(T2Q)を提案する。
実験の結果,タスク成功は環境理解の指標として不十分な場合が多く,現在の記憶機構はエージェントが環境の基底モデルを取得するのに有効ではないことが明らかとなった。
論文 参考訳（メタデータ） (2026-01-14T14:09:11Z) - REALM: A Real-to-Sim Validated Benchmark for Generalization in Robotic Manipulation [46.970355660265284]
VLA(Vision-Language-Action)モデルは、自然言語で記述されたタスクをロボットが理解し実行できるようにするモデルである。
重要な課題は、訓練された特定の環境や条件を超えて一般化できることです。
本稿では,VLAモデルの一般化能力を評価するための新しいシミュレーション環境とベンチマークであるREALMを提案する。
論文 参考訳（メタデータ） (2025-12-22T16:44:23Z) - IndustryNav: Exploring Spatial Reasoning of Embodied Agents in Dynamic Industrial Navigation [56.43007596544299]
IndustryNavは、アクティブな空間推論のための最初の動的産業用ナビゲーションベンチマークである。
9つの最先端のVisual Large Language Modelsの研究によると、クローズドソースモデルは一貫した優位性を維持している。
論文 参考訳（メタデータ） (2025-11-21T16:48:49Z) - WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。
我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。
この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
論文 参考訳（メタデータ） (2025-04-23T02:54:31Z) - AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks? [50.36826943689364]
言語エージェントがWeb上で現実的で時間を要するタスクを実行できるかどうかを調査する。
自動評価が可能な214の現実的なタスクからなる新しいベンチマークであるAssistantBenchを紹介する。
我々は,AssistantBenchが,言語モデルや検索拡張言語モデルなど,現在のシステムの限界を明らかにすることを発見した。
論文 参考訳（メタデータ） (2024-07-22T15:18:45Z) - LEGENT: Open Platform for Embodied Agents [60.71847900126832]
LEGENTはLarge Language Models (LLM) とLarge Multimodal Models (LMM) を用いたエンボディエージェントを開発するためのオープンでスケーラブルなプラットフォームである。
LEGENTはリッチでインタラクティブな3D環境を提供し、コミュニケーション可能でアクション可能なエージェントをユーザフレンドリーなインターフェースと組み合わせている。
実験では、EGENT生成データに基づいて訓練された胚性視覚言語モデルが、エンボディタスクにおいてGPT-4Vを超える。
論文 参考訳（メタデータ） (2024-04-28T16:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。