論文の概要: Generative Benchmark Creation for Table Union Search

• arxiv url: http://arxiv.org/abs/2308.03883v1
• Date: Mon, 7 Aug 2023 19:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 15:05:53.233593
• Title: Generative Benchmark Creation for Table Union Search
• Title（参考訳）: テーブルユニオン検索のための生成ベンチマーク作成
• Authors: Koyena Pal, Aamod Khatiwada, Roee Shraga, Ren\'ee J. Miller
• Abstract要約: 本稿では、生成モデルを用いて特定の特性を持つテーブルを作成する新しい方法を提案する。 新しいベンチマークは、手作業によるベンチマークよりも、すべてのメソッドで難しいことが示されています。
• 参考スコア（独自算出の注目度）: 4.970364068620607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data management has traditionally relied on synthetic data generators to generate structured benchmarks, like the TPC suite, where we can control important parameters like data size and its distribution precisely. These benchmarks were central to the success and adoption of database management systems. But more and more, data management problems are of a semantic nature. An important example is finding tables that can be unioned. While any two tables with the same cardinality can be unioned, table union search is the problem of finding tables whose union is semantically coherent. Semantic problems cannot be benchmarked using synthetic data. Our current methods for creating benchmarks involve the manual curation and labeling of real data. These methods are not robust or scalable and perhaps more importantly, it is not clear how robust the created benchmarks are. We propose to use generative AI models to create structured data benchmarks for table union search. We present a novel method for using generative models to create tables with specified properties. Using this method, we create a new benchmark containing pairs of tables that are both unionable and non-unionable but related. We thoroughly evaluate recent existing table union search methods over existing benchmarks and our new benchmark. We also present and evaluate a new table search methods based on recent large language models over all benchmarks. We show that the new benchmark is more challenging for all methods than hand-curated benchmarks, specifically, the top-performing method achieves a Mean Average Precision of around 60%, over 30% less than its performance on existing manually created benchmarks. We examine why this is the case and show that the new benchmark permits more detailed analysis of methods, including a study of both false positives and false negatives that were not possible with existing benchmarks.
• Abstract（参考訳）: データ管理は従来、データサイズや分散といった重要なパラメータを正確に制御できる、tpcスイートのような構造化ベンチマークを生成するために、合成データジェネレータに依存していました。 これらのベンチマークはデータベース管理システムの成功と採用の中心だった。 しかし、ますます、データ管理の問題は意味のある性質です。 重要な例は、結合できるテーブルを見つけることである。 同じ濃度の任意の2つのテーブルは結合可能であるが、テーブルユニオン探索は、結合が意味的に一貫性のあるテーブルを見つける問題である。 セマンティクス問題は合成データを使ってベンチマークすることはできない。 現在のベンチマーク作成方法は,実データの手作業によるキュレーションとラベル付けを伴います。 これらのメソッドは堅牢でもスケーラブルでもないし、さらに重要なのは、生成されたベンチマークの堅牢性が明確ではないことだ。 生成AIモデルを用いてテーブルユニオン探索のための構造化データベンチマークを作成することを提案する。 本稿では、生成モデルを用いて特定の特性を持つテーブルを作成する新しい方法を提案する。 この手法を用いて、結合性と非結合性の両方を持つテーブルのペアを含む新しいベンチマークを作成する。 既存のベンチマークと新しいベンチマークに対して,最近のテーブルユニオン探索手法を徹底的に評価した。 また,最近の大規模言語モデルに基づく新しいテーブル検索手法を全ベンチマークで提案し,評価した。 具体的には,既存の手作業で作成したベンチマークと比較して,平均精度約60%,30%以上,平均精度が約60%向上した。 我々は,この結果がなぜそうなるのかを検証し,既存のベンチマークでは不可能であった偽陽性と偽陰性の両方についての研究を含む,新しいベンチマークによりより詳細な解析が可能となることを示す。

関連論文リスト

• Is This a Bad Table? A Closer Look at the Evaluation of Table Generation from Text [21.699434525769586]
  テーブルの品質評価のための既存の尺度は、テーブルの全体的なセマンティクスをキャプチャすることができない。 テーブルのセマンティクスをキャプチャするテーブル評価戦略であるTabEvalを提案する。 提案手法を検証するために,1250種類のウィキペディアテーブルのテキスト記述からなるデータセットをキュレートする。
  論文  参考訳（メタデータ） (2024-06-21T02:18:03Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
  TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• Investigating Data Contamination in Modern Benchmarks for Large Language Models [27.479260572913724]
  近年の観測は、膨らませたベンチマークスコアとLLMの実際の性能の相違を裏付けている。 我々は,オープンソースのLLMとプロプライエタリなLLMの両方に適した2つの手法を提案し,データ汚染について検討した。 いくつかの商用LCMは、様々なテストセットに欠けているオプションを驚くほど推測できる。
  論文  参考訳（メタデータ） (2023-11-16T11:03:04Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)
• GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
  Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。 GEMv2は51言語で40のドキュメントデータセットをサポートする。 すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
  論文  参考訳（メタデータ） (2022-06-22T17:52:30Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Small but Mighty: New Benchmarks for Split and Rephrase [18.959219419951083]
  Split and Rephraseは、複雑な文をシンプルに書き換えるテキスト単純化タスクである。 広く使われているベンチマークデータセットは、簡単に利用できる構文的手がかりを普遍的に含んでいることがわかった。 単純なルールベースモデルであっても,最先端モデルと同等に動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-17T23:37:33Z)
• ToTTo: A Controlled Table-To-Text Generation Dataset [61.83159452483026]
  ToTToはオープンドメインの英語のテーブル・トゥ・テキストのデータセットで、12万以上のトレーニングサンプルがある。 本稿では、ウィキペディアから既存の候補文を直接修正するデータセット構築プロセスを紹介する。 通常流動的であるが、既存の方法は多くの場合、表がサポートしていないフレーズを幻覚させる。
  論文  参考訳（メタデータ） (2020-04-29T17:53:45Z)
• Leveraging Schema Labels to Enhance Dataset Search [20.63182827636973]
  本稿では,データセットテーブルの内容に基づいて可能なスキーマラベルを生成する新しいスキーマラベル生成モデルを提案する。 生成したスキーマラベルを混合ランキングモデルに組み込み、クエリとデータセットメタデータの関連性を検討する。 実験により,本手法はデータセット検索タスクの精度とNDCGスコアを効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-01-27T22:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。