論文の概要: From Factoid Questions to Data Product Requests: Benchmarking Data Product Discovery over Tables and Text

• arxiv url: http://arxiv.org/abs/2510.21737v1
• Date: Tue, 30 Sep 2025 23:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 05:35:45.942075
• Title: From Factoid Questions to Data Product Requests: Benchmarking Data Product Discovery over Tables and Text
• Title（参考訳）: ファクトイドからデータプロダクト要求へ: テーブルとテキストによるデータプロダクト発見のベンチマーク
• Authors: Liangliang Zhang, Nandana Mihindukulasooriya, Niharika S. D'Souza, Sola Shirai, Sarthak Dash, Yao Ma, Horst Samulowitz,
• Abstract要約: DPBenchは、ハイブリッドテーブルテキストコーパス上でのユーザ要求駆動型データ製品ベンチマークである。 本フレームワークは,既存のテーブルテキストQAデータセットを,関連するテーブルやパスを一貫性のあるデータ製品にクラスタリングすることで,体系的に再利用する。
• 参考スコア（独自算出の注目度）: 14.615452158253774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data products are reusable, self-contained assets designed for specific business use cases. Automating their discovery and generation is of great industry interest, as it enables discovery in large data lakes and supports analytical Data Product Requests (DPRs). Currently, there is no benchmark established specifically for data product discovery. Existing datasets focus on answering single factoid questions over individual tables rather than collecting multiple data assets for broader, coherent products. To address this gap, we introduce DPBench, the first user-request-driven data product benchmark over hybrid table-text corpora. Our framework systematically repurposes existing table-text QA datasets by clustering related tables and passages into coherent data products, generating professional-level analytical requests that span both data sources, and validating benchmark quality through multi-LLM evaluation. DPBench preserves full provenance while producing actionable, analyst-like data product requests. Baseline experiments with hybrid retrieval methods establish the feasibility of DPR evaluation, reveal current limitations, and point to new opportunities for automatic data product discovery research. Code and datasets are available at: https://anonymous.4open.science/r/data-product-benchmark-BBA7/
• Abstract（参考訳）: データ製品は再利用可能で、特定のビジネスユースケースのために設計された自己完結型の資産です。 大規模なデータレイクでの発見を可能にし、分析データ製品要求(DPR)をサポートするため、その発見と生成を自動化することは、業界における大きな関心事である。 現在、データ製品発見専用に確立されたベンチマークは存在しない。 既存のデータセットは、より広範囲で一貫性のある製品のために複数のデータ資産を集めるのではなく、個々のテーブルに対して単一のファクトイド質問に答えることに重点を置いている。 このギャップに対処するため、我々はDPBenchを紹介した。DPBenchは、ハイブリッドテーブルテキストコーパス上でのユーザ要求駆動型データ製品ベンチマークである。 本フレームワークは,関係するテーブルやパスを一貫性のあるデータ製品にクラスタリングし,両方のデータソースにまたがるプロレベルの分析要求を生成し,マルチLLM評価によってベンチマーク品質を検証することによって,既存のテーブルテキストQAデータセットを体系的に再利用する。 DPBenchは、アクション可能なアナリストのようなデータ製品要求を生成しながら、完全な実績を保っている。 ハイブリッド検索手法によるベースライン実験は、DPR評価の実現可能性を確立し、現在の限界を明らかにし、自動データ製品発見研究の新たな機会を示す。 コードとデータセットは以下の通りである。 https://anonymous.4open.science/r/data-product-benchmark-BBA7/

関連論文リスト

• InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
  3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。 財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。 単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
  論文  参考訳（メタデータ） (2024-07-08T22:06:09Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• TabReD: Analyzing Pitfalls and Filling the Gaps in Tabular Deep Learning Benchmarks [30.922069185335246]
  典型的産業応用における表型データの2つの共通特性は、通常文献で評価に使用されるデータセットに不足している。 運用環境におけるデータセットのかなりの部分は、広範なデータ取得と機能エンジニアリングパイプラインに由来する。 これは、学術的なデータセットと比較して、予測的、非形式的、相関的な特徴の絶対的および相対的な数に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2024-06-27T17:55:31Z)
• CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems [10.71630696651595]
  知識集約的なタスクを達成するエージェントとしてLLMを使用する複合AIシステム(CAS)は、データベースやAIコミュニティにおいて大きな関心を集めている。 マルチモーダルデータソースのサイロは、そのタスクを達成するための適切なデータソースを特定するのを困難にしている。 我々はエンタープライズデータプラットフォームの複雑さをモデル化したベンチマークであるCMDBenchを提案する。
  論文  参考訳（メタデータ） (2024-06-02T01:10:41Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
  人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。 そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。 このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。