論文の概要: DP-Bench: A Benchmark for Evaluating Data Product Creation Systems

• arxiv url: http://arxiv.org/abs/2512.15798v1
• Date: Tue, 16 Dec 2025 19:19:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.728227
• Title: DP-Bench: A Benchmark for Evaluating Data Product Creation Systems
• Title（参考訳）: DP-Bench: データ製品作成システム評価ベンチマーク
• Authors: Faisal Chowdhury, Sola Shirai, Sarthak Dash, Nandana Mihindukulasooriya, Horst Samulowitz,
• Abstract要約: DP-Benchは自動データ製品作成を評価するベンチマークである。 ELTとText-to-huggingベンチマークの既存の作業を活用することで、このベンチマークがどのように作成されたかを説明します。 本稿では,データ生成を自動生成するためのベースラインとして,いくつかのアプローチを提案する。
• 参考スコア（独自算出の注目度）: 6.79084373554523
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A data product is created with the intention of solving a specific problem, addressing a specific business usecase or meeting a particular need, going beyond just serving data as a raw asset. Data products enable end users to gain greater insights about their data. Since it was first introduced over a decade ago, there has been considerable work, especially in industry, to create data products manually or semi-automatically. However, there exists hardly any benchmark to evaluate automatic data product creation. In this work, we present a benchmark, first of its kind, for this task. We call it DP-Bench. We describe how this benchmark was created by taking advantage of existing work in ELT (Extract-Load-Transform) and Text-to-SQL benchmarks. We also propose a number of LLM based approaches that can be considered as baselines for generating data products automatically. We make the DP-Bench and supplementary materials available in https://huggingface.co/datasets/ibm-research/dp-bench .
• Abstract（参考訳）: データ製品は、特定の問題を解決するために作られ、特定のビジネスユースケースに対処したり、特定のニーズを満たすために作られ、単にデータを原材料として提供するだけではない。 データプロダクトにより、エンドユーザは、データに関するより深い洞察を得ることができる。 10年以上前に初めて導入されて以来、特に業界では、手動または半自動でデータ製品を作成するために、かなりの作業が続けられてきた。 しかし、自動データ製品作成を評価するためのベンチマークはほとんど存在しない。 本研究では,まず,この課題に対するベンチマークを示す。 これをDP-Benchと呼ぶ。 ELT(Extract-Load-Transform)とText-to-SQLベンチマークの既存の作業を活用することで、このベンチマークがどのように作成されたかを説明します。 また,データ生成を自動生成するベースラインとして,LLMベースのアプローチを多数提案する。 DP-Benchと補足材料をhttps://huggingface.co/datasets/ibm-research/dp-benchで公開しています。

関連論文リスト

• From Factoid Questions to Data Product Requests: Benchmarking Data Product Discovery over Tables and Text [14.615452158253774]
  DPBenchは、ハイブリッドテーブルテキストコーパス上でのユーザ要求駆動型データ製品ベンチマークである。 本フレームワークは,既存のテーブルテキストQAデータセットを,関連するテーブルやパスを一貫性のあるデータ製品にクラスタリングすることで,体系的に再利用する。
  論文  参考訳（メタデータ） (2025-09-30T23:07:36Z)
• EcomScriptBench: A Multi-task Benchmark for E-commerce Script Planning via Step-wise Intention-Driven Product Association [83.4879773429742]
  本稿では,E-Commerce Script Planning(EcomScript)の課題を3つの逐次サブタスクとして定義する。 本稿では,各ステップに製品を関連付けることで,拡張性のある製品リッチスクリプトの生成を可能にする新しいフレームワークを提案する。 最初の大規模なEcomScriptデータセットであるEcomScriptBenchを構築しました。
  論文  参考訳（メタデータ） (2025-05-21T07:21:38Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
  Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。 GEMv2は51言語で40のドキュメントデータセットをサポートする。 すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
  論文  参考訳（メタデータ） (2022-06-22T17:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。