論文の概要: WinSyn: An Automated Pipeline for Realistic Enterprise Question-Answering Evaluation

• arxiv url: http://arxiv.org/abs/2609.12171v1
• Date: Thu, 10 Sep 2026 19:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.535854
• Title: WinSyn: An Automated Pipeline for Realistic Enterprise Question-Answering Evaluation
• Title（参考訳）: WinSyn: 企業における現実的な質問回答評価のためのパイプライン自動化
• Abstract要約: 現実的な職場シナリオを反映したメールの合成データセットを生成する自動パイプラインを導入する。 当社の手法は、数ヶ月にわたる長期にわたるエンタープライズプロジェクトと、最大25人の対話型従業員をシミュレートする。 すべてのクエリの平均スコアがデータセットの80%以下であり、改善の余地があることが分かりました。
• 参考スコア（独自算出の注目度）: 5.769286352848837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprise settings provide a challenging environment for question-answering agents, which often rely on Retrieval-Augmented Generation, Deep Research (DR), and related techniques. Much of this challenge comes from the complexity of enterprise data: information is often spread across evolving and potentially conflict- ing emails, chat messages, documents, and other artifacts. Existing benchmarks typically have limited real-world complexity, short-form responses, and unnatural queries, so they often fail to capture the challenges of enterprise settings. In this work, we introduce an automated pipeline for generating synthetic datasets of emails reflecting realistic workplace scenarios, along with long- and short-form questions and gold answers grounded in the data. Our method simulates long-running enterprise projects spanning several months and involving up to 25 interacting employees across multiple roles. The data emphasizes ambiguity, distributed information, and naturally occurring queries. To validate the pipeline, we evaluate few standard agentic baselines on our datasets using the latest frontier models. We find that aggregate scores averaged over all queries remain below 80% for each dataset, indicating significant room for improvement. These findings suggest that more work remains to be done for enterprise deployment and underscore the importance of realistic, high-complexity evaluation data for developing stronger real-world enterprise DR systems.
• Abstract（参考訳）: エンタープライズ設定は質問応答エージェントにとって困難な環境を提供する。これは多くの場合、検索拡張生成、ディープリサーチ(DR)、および関連する技術に依存している。 情報はしばしば、進化し、潜在的に矛盾する可能性のあるメール、チャットメッセージ、ドキュメント、その他のアーティファクトに分散している。 既存のベンチマークは一般的に、現実の複雑さや短い形式のレスポンス、不自然なクエリに制限されているため、エンタープライズ設定の課題を捉えることができないことが多い。 本研究では、現実的な職場シナリオを反映した電子メールの合成データセットを生成するための自動パイプラインと、そのデータに基づいた長文および短文の質問と金の回答を紹介する。 提案手法は、数ヶ月にわたる長期にわたるエンタープライズプロジェクトと、複数の役割にわたる最大25人の対話型従業員をシミュレートする。 データはあいまいさ、分散情報、そして自然に発生するクエリを強調する。 パイプラインを検証するため、最新のフロンティアモデルを用いて、データセットの標準的なエージェントベースラインをほとんど評価しない。 すべてのクエリの平均スコアがデータセットの80%以下であり、改善の余地があることが分かりました。 これらの結果から,企業展開に向けたさらなる作業が引き続き行なわれており,より強力な実世界の企業DRシステムを開発する上での,現実的かつ複雑度の高い評価データの重要性を浮き彫りにしている。

関連論文リスト

• AgenticDataBench: A Comprehensive Benchmark for Data Agents [26.292243502468335]
  大規模言語モデル(MLL)データエージェントは、データサイエンスを自動化するための有望なソリューションとして登場した。 我々は,粒度の細かい多様な領域にまたがる現実的なタスクを特徴とする総合的なベンチマークであるAgenticDataを提案する。 これにより、データサイエンスの多様性と複雑さ、エージェントの詳細なパフォーマンスを評価できる。
  論文  参考訳（メタデータ） (2026-07-02T03:18:59Z)
• A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline [4.751533658796929]
  本研究では,ハエのオプトジェネティックスデータ発見パイプラインにおける汎用コーディングエージェントの実証研究について述べる。 既存のベンチマークよりも大幅に大きいタスクのエージェント、桁違いに大きいデータセット、ドメインエキスパート標準に基づく評価基準について評価する。 エージェントが複数のパイプラインステージを解決できることを示し、ステージレベルの自動化が抽出可能であることを示唆する。
  論文  参考訳（メタデータ） (2026-06-05T15:38:18Z)
• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle [41.576417987200074]
  実世界のエンタープライズデータインテリジェンスには、ソースを分析可能なテーブルに変換するデータエンジニアリングや、これらのテーブルを意思決定指向の洞察に変換するデータ分析が含まれる。 複雑な機能を反映した210タスクのベンチマークであるDACompを紹介します。
  論文  参考訳（メタデータ） (2025-12-03T23:21:28Z)
• LongWeave: A Long-Form Generation Benchmark Bridging Real-World Relevance and Verifiability [60.451734326001564]
  textbfLongWeaveを導入し、Constraint-Verifier Evaluation(CoV-Eval)による実世界と検証のバランスをとる。 LongWeaveは7つの異なるタスクに対して、カスタマイズ可能な入出力長(最大64K/8Kトークン)をサポートする。 23大言語モデルの評価は、実世界の複雑さと出力長の増加に伴い、最先端モデルでさえ、長文生成において重大な課題に直面していることを示している。
  論文  参考訳（メタデータ） (2025-10-28T12:11:12Z)
• CoDA: Agentic Systems for Collaborative Data Visualization [57.270599188947294]
  深層研究はデータ分析に革命をもたらしたが、データサイエンティストは依然として手作業による視覚化にかなりの時間を費やしている。 単純なシングルエージェントシステムやマルチエージェントシステムを含む既存のアプローチは、しばしばタスクを単純化する。 本稿では,メタデータ分析,タスク計画,コード生成,自己回帰に特殊なLLMエージェントを利用するマルチエージェントシステムであるCoDAを紹介する。
  論文  参考訳（メタデータ） (2025-10-03T17:30:16Z)
• DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
  DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。 セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
  論文  参考訳（メタデータ） (2025-09-30T18:47:20Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。