論文の概要: FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests

• arxiv url: http://arxiv.org/abs/2610.14539v1
• Date: Sat, 10 Oct 2026 03:53:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.063206
• Title: FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
• Title（参考訳）: FDE-Bench: 特定されていない実世界のビジネス要求からエンドツーエンドのデリバリを評価する
• Abstract要約: FDE-Benchは、エンド・ツー・エンドのデリバリタスクにおいてエージェントを評価するために、実際の顧客プロジェクトから構築された最初のベンチマークである。 以上の結果から, 信頼性の高いFDEレベルのエンドツーエンドデリバリは, 評価エージェントの到達範囲外であることが示唆された。
• 参考スコア（独自算出の注目度）: 37.112507244969116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world business requests often leave key requirements unstated because frontline practitioners struggle to articulate rules they know from experience. Forward-deployed engineers (FDEs) must elicit these requirements through dialogue and iteratively optimize solutions until they meet customer acceptance criteria. Existing optimization benchmarks typically start from explicit objectives, while clarification benchmarks often introduce information gaps into existing tasks. We introduce FDE-Bench, the first benchmark built from real customer projects to evaluate agents on end-to-end delivery tasks that require interactive requirement clarification and iterative optimization. Its 49 cases span combinatorial optimization and machine learning. Clarification targets are distilled from discussions between frontline practitioners and FDEs. Agents elicit missing requirements from a simulated customer, and case-specific evaluators assess final artifacts against acceptance criteria using customer-accepted FDE solutions as quality references. Across 18 agent configurations, the highest mean delivery score is only 0.5510, compared with an FDE reference of 1.0. The highest delivery success rate (DSR), defined as the fraction of planned runs reaching this reference, is only 6.12%. These results show that reliable FDE-level end-to-end delivery remains out of reach for the evaluated agents on underspecified real-world business tasks. The benchmark project page is available at https://baidubce.github.io/FM-Agent/FDE-Bench/.
• Abstract（参考訳）: 実世界のビジネス要求は、最前線の実践者が経験から知っているルールを明確にするのに苦労するため、重要な要件を未定のままにしておくことが多い。 フォワードデプロイエンジニア(FDE)は、顧客受け入れ基準を満たすまで、対話を通じてこれらの要件を導き、ソリューションを反復的に最適化しなければなりません。 既存の最適化ベンチマークは、通常、明示的な目的から始まるが、明確化ベンチマークは、しばしば既存のタスクに情報ギャップをもたらす。 FDE-Benchは、インタラクティブな要求明確化と反復最適化を必要とするエンドツーエンドのデリバリタスクのエージェントを評価するために、実際の顧客プロジェクトから構築された最初のベンチマークである。 49のケースは、組合せ最適化と機械学習にまたがっている。 最前線の実践者とFDEとの議論から明確化の目標を抽出する。 エージェントは、シミュレーションされた顧客から不足要件を導き、ケース固有の評価者は、顧客が受け入れるFDEソリューションを品質基準として、受け入れ基準から最終成果物を評価する。 18のエージェント構成で、最も高い平均デリバリスコアは0.5510であり、FDE参照は1.0である。 もっとも高い配送成功率(DSR)は、この基準に達する予定のランの比率として定義されており、わずか6.12%である。 これらの結果は、FDEレベルの信頼性の高いエンドツーエンドデリバリは、未特定の現実世界の業務タスクにおいて評価されたエージェントには及ばないことを示している。 ベンチマークプロジェクトのページはhttps://baidubce.github.io/FM-Agent/FDE-Bench/で公開されている。

関連論文リスト

• AdaptArena: Evaluating Test-Time Personalization of Web Agents [93.7336288790761]
  本稿では,Webエージェントのテスト時間パーソナライズを評価するベンチマークであるAdaptArenaを紹介する。 また、暗黙の選好推論を標準化するための検索ベースのフレームワークであるAdaptiveAgentを紹介する。 これらの知見は、信頼性の高いユーザ対応Webエージェントをデプロイする上で重要な課題として、暗黙の選好推論とロバストなアクショングラウンドメントを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-09-29T01:46:48Z)
• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation [1.2691047660244335]
  テストされた構成を開示し、質問を検証し、タスク完了を成功させ、コストと実行時間とともにパフォーマンスを報告し、一般化の範囲を明確にする評価手順について論じます。 大きな質問プールはタスクカバレッジを改善し、繰り返しサンプリングは、そのプールにおける見積もりの安定性を改善する。 その中心的な主張は、モデル選択は、単に一般的なリーダーボード上の高い位置ではなく、意図した作業におけるパフォーマンスに関する証拠を必要とすることである。
  論文  参考訳（メタデータ） (2026-09-19T20:02:05Z)
• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• DCEO: Direct Causal Effect Optimization for Long-Term User Value Modeling in E-commerce Search [11.364213846656904]
  我々は、アイテムレベルのプロキシスコアを学習するためのデータ駆動フレームワークであるDCEOを提案する。 D CEOは大規模な産業用eコマースサーチシステムに展開され、従来のGMVプロキシを41日間のオンラインA/Bテストで0.36%上回った。
  論文  参考訳（メタデータ） (2026-08-26T11:02:50Z)
• Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
  DSPy+HELMフレームワークを提案する。 構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。 これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
  論文  参考訳（メタデータ） (2025-11-25T20:37:59Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Conditional Sequential Slate Optimization [15.10459152219771]
  検索ランキングシステムは通常、検索結果を独立したクエリ文書スコアで順序付けし、検索結果のスレートを生成する。 本稿では,従来のランク付け指標の最適化と,スレート内の文書の所定の分布基準を共同で学習する条件付きシーケンシャルスレート最適化(CSSO)を提案する。 提案手法は,eコマース検索結果の多様性の強化,トップ検索結果のバイアス軽減,結果のパーソナライズなど,現実的な課題に適用できる。
  論文  参考訳（メタデータ） (2021-08-12T09:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。