論文の概要: FDE-Gym: The Last Mile of AI Delivery
- arxiv url: http://arxiv.org/abs/2610.22350v1
- Date: Thu, 15 Oct 2026 17:57:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.275952
- Title: FDE-Gym: The Last Mile of AI Delivery
- Title（参考訳）: FDE-Gym: AIデリバリの最後のマイル
- Abstract要約: フォワードデプロイエンジニア(FDE)は、曖昧な要件を明確にし、ライブシステムで作業し、未定の制約を明らかにする必要がある。
FDE-Gymは18セクターの20の顧客シナリオから95のエンドツーエンドデリバリタスクのベンチマークである。
オンラインプラットフォームでは、人間が同じ成績基準でFDEスキルを練習することができる。
- 参考スコア（独自算出の注目度）: 20.734392550224452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing agent benchmarks typically evaluate agents on well-specified tasks defined by issue reports, specifications, or task tickets. Real-world customer delivery is different: forward-deployed engineers (FDEs) must clarify ambiguous requirements, work in live systems, and uncover unstated constraints. We introduce FDE-Gym, a benchmark of 95 end-to-end delivery tasks from 20 customer scenarios across 18 sectors, each adapted by industry experts from real-world delivery projects. In simulated customer environments with scripted stakeholders and modifiable customer systems, agents interact with stakeholders and operate on production-like systems to deliver working solutions. FDE-Gym scores a delivery by how much it improves the customer's own success metric, normalized between 0 (unchanged system) and 1 (reference solution), with penalties for stakeholder interactions (messages, trial runs, and waiting time). An online platform lets humans practice FDE skills under the same grading criteria. We evaluate 13 model configurations from seven providers. In the realistic setting, where unstated constraints must be discovered, the best configuration achieves a mean FDE-Gym score of 0.56 and resolves only 14 of the 95 tasks (a score of at least 0.8 with no incident). Discovering unstated constraints is the primary bottleneck: performance drops sharply when models must uncover them without explicit guidance. Yet information discovery alone does not account for the gap: even on the 23 tasks where the best configuration obtains every key fact from stakeholders, it reaches a normalized business uplift of 0.8 or above on only 10. These results reveal a substantial gap between solving well-specified tasks and delivering effective AI systems for real customers.
- Abstract（参考訳）: 既存のエージェントベンチマークは、イシューレポート、仕様、タスクチケットによって定義された明確に定義されたタスクのエージェントを評価するのが一般的である。
事前デプロイされたエンジニア(FDE)は、あいまいな要求を明確にし、ライブシステムで作業し、未定の制約を明らかにする必要があります。
FDE-Gymは18のセクターにわたる20の顧客シナリオから95のエンドツーエンドデリバリタスクのベンチマークです。
スクリプト化された利害関係者と変更可能な顧客システムによるシミュレートされた顧客環境において、エージェントは利害関係者と対話し、作業ソリューションを提供するために本番のようなシステムを操作します。
FDE-Gymは、顧客自身の成功基準をどの程度改善し、0(変更されていないシステム)と1(参照ソリューション)の間で正常化し、ステークホルダーのインタラクション(メッセージ、トライアル実行、待ち時間)に罰を与えるかによって、デリバリをスコア付けします。
オンラインプラットフォームでは、人間が同じ成績基準でFDEスキルを練習することができる。
7つのプロバイダから13のモデル構成を評価する。
厳密な制約を見つけなければならない現実的な環境では、最良の構成は平均FDE-Gymスコア0.56に達し、95タスクのうち14タスクしか解決しない(インシデントなしの少なくとも0.8スコア)。
モデルが明示的なガイダンスなしでそれを発見しなければならない場合、パフォーマンスは急激に低下します。
最高の設定が利害関係者からすべての重要な事実を取得する23のタスクであっても、わずか10で0.8以上の正規化されたビジネス隆起に到達します。
これらの結果から、明確に特定されたタスクの解決と、実際の顧客に効果的なAIシステムの提供との間には、大きなギャップがあることが分かる。
関連論文リスト
- Cowork-Gym: Synthesizing Interactive Work Environments at Scale [79.11567848319275]
ワークエージェントは、ツールやファイル間の依存関係をナビゲートし、ユーザ要求の変更や共有ワークスペースへの編集に適応する。
Cowork-Gymは、ビルド・実行・修正ループを通じてCowork環境を合成するフレームワークです。
現実的なコワークダイナミクスをキャプチャするために、ステートフルユーザシミュレータは対話を通じてエージェントのアクションに応答し、共有ワークスペースに直接編集する。
論文 参考訳（メタデータ） (2026-10-13T03:56:58Z) - ANCHOR: Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding [37.56127721120043]
ANCHOR(Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding)は、自然主義の多言語リポジトリタスクをベースとしたベンチマークである。
ANCHORは、(i)実際の開発者インタラクションから抽出された10のカテゴリと78の葉型の階層的な分類、(ii)タスク基底の原子的制約をインスタンス化し、それらを型付きおよび/THEN/PRIORITY関係に構成する自動パイプライン、(iii)軌道基底の評価フレームワークを組み合わせる。
論文 参考訳（メタデータ） (2026-10-12T14:28:38Z) - FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests [37.112507244969116]
FDE-Benchは、エンド・ツー・エンドのデリバリタスクにおいてエージェントを評価するために、実際の顧客プロジェクトから構築された最初のベンチマークである。
以上の結果から, 信頼性の高いFDEレベルのエンドツーエンドデリバリは, 評価エージェントの到達範囲外であることが示唆された。
論文 参考訳（メタデータ） (2026-10-10T03:53:42Z) - xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。
これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。
最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
論文 参考訳（メタデータ） (2026-09-07T17:30:58Z) - Anchor: Mitigating Artifact Drift in Agent Benchmark Generation [0.0]
ドメインエキスパートの仕様を制約最適化プログラムに形式化するタスク生成パイプラインであるAnchorを紹介する。
Anchorでは、パラメータを変更することで、制御の困難さと既知の最適解を持つ新しいタスクが生成される。
本研究では,ERP-Benchの生産にAnchorを適用し,生産レベルのERPシステムにおける調達と製造にまたがる300の長期タスクのベンチマークを行った。
論文 参考訳（メタデータ） (2026-05-25T20:44:17Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - EnterpriseOps-Gym: Environments and Evaluations for Stateful Agentic Planning and Tool Use in Enterprise Settings [8.341628877927244]
現実的なエンタープライズ環境でエージェント計画を評価するために設計されたベンチマークであるEnterpriseOps-Gymを紹介する。
この環境では、エージェントは8つのミッションクリティカルな分野にわたる1,150人の専門家によるタスクで評価される。
14のフロンティアモデルの評価により,最先端モデルにおける限界が明らかになった。
論文 参考訳（メタデータ） (2026-03-13T21:09:39Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。