論文の概要: WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing
- arxiv url: http://arxiv.org/abs/2607.25765v1
- Date: Tue, 28 Jul 2026 14:19:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.867086
- Title: WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing
- Title（参考訳）: WorkSurface-Bench: マルチサーフェス知識ルーティング上のエンタープライズエージェントのベンチマーク
- Abstract要約: 我々は、この機能を表面ルーティングとして評価するためのベンチマークであるWorkSurface-Benchを紹介した。
これは、ペルソナスコープワークスペース-ベンチライトワークスペースから派生した1,151のアトミックタスクを含んでいる。
我々は、6つの制御されたエージェント設定で4つのモデルバックボーンを評価し、27,624個のプロトコルエラーフリーなトラジェクトリを得た。
- 参考スコア（独自算出の注目度）: 10.956110208321556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise agents often need to integrate heterogeneous knowledge sources: documents for narrative facts, tables for computation, and dependency graphs for file relationships. Existing benchmarks typically evaluate retrieval or tool use without distinguishing whether an agent first selects the appropriate knowledge sources. We introduce WorkSurface-Bench, a benchmark for evaluating this capability as surface routing. It contains 1,151 atomic tasks derived from persona-scoped Workspace-Bench-Lite workspaces, spanning document, table, graph, and cross-surface questions. Its reference answers are auditable: table answers are reproduced through executed DuckDB queries, document answers are grounded in verified text spans, and graph answers are traced to source dependency annotations. We evaluate four model backbones across six controlled agent settings, yielding 27,624 protocol-error-free trajectories. Under gold-constrained tool access, agents achieve 98.7-99.8 Route F1, while Answer remains only 56.1-75.3 percent, showing that correct surface selection is necessary but insufficient for task completion. Matched interventions further show that surface hints improve Answer for three of four models, whereas removing irrelevant tools primarily improves routing and efficiency. In an independent three-annotator audit, all 200 sampled tasks pass all six quality criteria by majority vote, with 192 receiving unanimous judgments on every criterion. We release the dataset, construction pipeline, scoring code, and agent harness at https://github.com/haolpku/WorkSurface-Bench.
- Abstract（参考訳）: エンタープライズエージェントは、多種多様な知識ソース(物語の事実のドキュメント、計算のテーブル、ファイル関係の依存性グラフ)を統合する必要があることが多い。
既存のベンチマークでは、エージェントがまず適切な知識ソースを選択するかどうかを区別することなく、検索やツールの使用を評価するのが一般的である。
我々は、この機能を表面ルーティングとして評価するためのベンチマークであるWorkSurface-Benchを紹介した。
1,151のアトミックタスクは、ペルソナスコープのワークスペース-ベンチ-ライトワークスペース、スパンニングドキュメント、テーブル、グラフ、および表面横断的な質問から導かれる。
テーブルの回答は実行中のDuckDBクエリで再現され、ドキュメントの回答は検証済みのテキストスパンでグラウンド化され、グラフの回答はソース依存アノテーションにトレースされます。
我々は、6つの制御されたエージェント設定で4つのモデルバックボーンを評価し、27,624個のプロトコルエラーフリーなトラジェクトリを得た。
金に制約されたツールアクセスの下では、エージェントは98.7-99.8ルートF1を達成するが、Answerは56.1-75.3%しか残っていない。
一致した介入により、表面のヒントは4つのモデルのうち3つのAnswerを改善する一方、無関係なツールを削除することは、主にルーティングと効率を改善する。
独立した3つのアノテータによる監査では、200のサンプリングされたタスクは全て6つの品質基準を多数決で通過し、192は各基準について全会一致で判断される。
データセット、構築パイプライン、スコアリングコード、エージェントハーネスはhttps://github.com/haolpku/WorkSurface-Bench.orgで公開しています。
関連論文リスト
- Evaluating Enterprise Analytics Agents: An End-to-End, Trace-Backed Methodology [10.411056951115214]
分析エージェントのエンドツーエンド評価手法を提案する。
Gradingでは、人間によるゴールデンな回答、繰り返し実行、実行時のトレースを備えた質問バンクを使用している。
大規模なオンラインマーケットプレースにおいて、制御された内部分析エージェント上で方法論をインスタンス化する。
論文 参考訳（メタデータ） (2026-08-28T20:57:45Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Schema-Agnostic Graph Reasoning Agent for Hybrid Knowledge Graphs [42.698418800007865]
本稿では,ハイブリッド知識グラフを探索するグラフ推論エージェントGRAを紹介する。
258の産業ベンチマークであるUFK-Mでは、GRAは5.1ppのフルコンテキストエージェントを上回った。
グラフのない制御は、主にグラフトポロジではなく、選択的なエージェントアクセスから得られる利得を示している。
論文 参考訳（メタデータ） (2026-08-16T16:10:32Z) - Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark [0.0]
本稿では,タスクテキストからヘテロジニアスな操作を構成する,実行可能ベンチマークと予算対応メタルータを紹介する。
結果: 学習成功率は75.9%、静的ルーティングは93.5%、残る49%が安価で34.3ポイントを超える。
論文 参考訳（メタデータ） (2026-07-31T07:00:49Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - SGR-Bench: Benchmarking Search Agents on State-Gated Retrieval [5.32888938421653]
専門的な検索タスクのクラスは、まだ不足している。
我々は、この機能をステートゲート検索(SGR)と呼ぶ。
SGR-Benchはこの設定のためのベンチマークで、6つのソースファミリーと12のパブリックデータエコシステムにまたがる100の専門家によるタスクを含んでいる。
論文 参考訳（メタデータ） (2026-05-21T09:22:48Z) - Towards Multi-Agent Autonomous Reasoning in Hydrodynamics [0.06999740786886537]
本稿では,多エージェントをレイヤ実行グラフ(LEG)を介して協調させる,流体力学のためのマルチエージェントシステム(MAS)のプロトタイプを提案する。
プランナーエージェントは、ドメイン知識を厳密な制御ロジックとしてハードコーディングすることなく、自然言語ルーティングからクエリ固有の実行トポロジを構築する。
レポーターエージェントが最終応答を合成し、ランタイムが監査性をサポートするためのツール呼び出し毎に証明をログする。
論文 参考訳（メタデータ） (2026-05-01T21:17:55Z) - TADI: Tool-Augmented Drilling Intelligence via Agentic LLM Orchestration over Heterogeneous Wellsite Data [0.0]
TADI(Tool-Augmented Drilling Intelligence)は、ドリル操作データをエビデンスベースの分析インテリジェンスに変換するエージェントAIシステムである。
TADIは、毎日1,759件の掘削レポート、選択されたWITリアルタイムオブジェクト、15,634件の生産記録、生成トップ、穴を二重ストアアーキテクチャに統合している。
論文 参考訳（メタデータ） (2026-04-30T03:19:39Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - RAG over Tables: Hierarchical Memory Index, Multi-Stage Retrieval, and Benchmarking [63.253294691180635]
現実世界のシナリオでは、純粋なテキスト以外では、かなりの量の知識がテーブルに格納される。
まず、階層型メモリインデックス、多段階検索、グラフ認識プロンプトからなるテーブルコーパス対応RAGフレームワークT-RAGを提案する。
論文 参考訳（メタデータ） (2025-04-02T04:24:41Z) - KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。
すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。
我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
論文 参考訳（メタデータ） (2024-05-13T18:26:32Z) - TANQ: An open domain dataset of table answered questions [15.323690523538572]
TANQは、複数のソースにまたがる情報からテーブルを構築する必要がある、最初のオープンドメイン質問応答データセットである。
結果の表にあるすべてのセルに対する完全なソース属性を公開し、オープン、オラクル、クローズドブックのセットアップで最先端の言語モデルをベンチマークします。
私たちの最高のパフォーマンスベースラインであるGemini Flashは、全体的なF1スコア60.7に達し、人間のパフォーマンスに12.3ポイント遅れています。
論文 参考訳（メタデータ） (2024-05-13T14:07:20Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳（メタデータ） (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。