論文の概要: BEAVER: An Enterprise Benchmark for Text-to-SQL

• arxiv url: http://arxiv.org/abs/2409.02038v2
• Date: Mon, 20 Jan 2025 22:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:54.040031
• Title: BEAVER: An Enterprise Benchmark for Text-to-SQL
• Title（参考訳）: BEAVER: テキストからSQLへのエンタープライズベンチマーク
• Authors: Peter Baile Chen, Fabian Wenz, Yi Zhang, Devin Yang, Justin Choi, Nesime Tatbul, Michael Cafarella, Çağatay Demiralp, Michael Stonebraker,
• Abstract要約: 既存のテキスト・トゥ・ザ・シェルフのベンチマークは、主に人為的な質問対を持つWebテーブルから構築されている。 これは、実際のプライベートなエンタープライズデータウェアハウスからソースされた最初のエンタープライズ向けテキスト・トゥ・ザ・シェルフ・ベンチマークです。
• 参考スコア（独自算出の注目度）: 5.984348784381797
• License:
• Abstract: Existing text-to-SQL benchmarks have largely been constructed from web tables with human-generated question-SQL pairs. LLMs typically show strong results on these benchmarks, leading to a belief that LLMs are effective at text-to-SQL tasks. However, how these results transfer to enterprise settings is unclear because tables in enterprise databases might differ substantially from web tables in structure and content. To contend with this problem, we introduce a new dataset BEAVER, the first enterprise text-to-SQL benchmark sourced from real private enterprise data warehouses. This dataset includes natural language queries and their correct SQL statements, which we collected from actual query logs. We then benchmark off-the-shelf LLMs on this dataset. LLMs perform poorly, even when augmented with standard prompt engineering and RAG techniques. We identify three main reasons for the poor performance: (1) schemas of enterprise tables are more complex than the schemas in public data, resulting in SQL-generation tasks intrinsically harder; (2) business-oriented questions are often more complex, requiring joins over multiple tables, aggregations, and nested queries; (3) public LLMs cannot train on private enterprise data warehouses that are not publicly accessible, and therefore it is difficult for the model to learn to solve (1) and (2). We believe BEAVER will facilitate future research in building text-to-SQL systems that perform better in enterprise settings.
• Abstract（参考訳）: 既存のテキスト-SQLベンチマークは、主に人間が生成した質問-SQLペアを持つWebテーブルから構築されている。 LLMは通常、これらのベンチマークで強力な結果を示しており、LLMはテキストからSQLタスクに有効である、と信じている。 しかし、エンタープライズデータベースの表が構造や内容のウェブ表と大きく異なる可能性があるため、これらの結果がエンタープライズ設定にどのように移行されるかははっきりしない。 この問題に対処するため、私たちはBEAVERという、実際のプライベートなエンタープライズデータウェアハウスからソースされた最初のエンタープライズ向けテキスト-SQLベンチマークのデータセットを導入しました。 このデータセットには、自然言語クエリと、実際のクエリログから収集したそれらの正しいSQLステートメントが含まれています。 次に、このデータセットで既製のLCMをベンチマークします。 LLMは標準的なプロンプトエンジニアリングやRAG技術で強化されても性能が良くない。 1) エンタープライズテーブルのスキーマは,公開データのスキーマよりも複雑で,SQL生成タスクが本質的に難しいこと,2) ビジネス指向の質問が複雑で,複数のテーブルや集約,ネストしたクエリを結合する必要があること,3) パブリック LLM が公開されていないプライベートなエンタープライズデータウェアハウスでトレーニングできないこと,そして,モデルが(1) と (2) を解くことを学習することが難しいこと,の3つの理由を特定する。 BEAVERは、エンタープライズ環境でより優れたパフォーマンスを実現するテキスト-SQLシステムの構築において、将来の研究を促進するだろうと考えています。

関連論文リスト

• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• Lucy: Think and Reason to Solve Text-to-SQL [12.52968634440807]
  大規模言語モデル(LLM)は、自然言語でデータベースをクエリするユーザを支援するために大きな進歩を遂げた。 LLMは、多くの標準ベンチマークで最先端の結果を提供するが、大規模エンタープライズデータベースに適用した場合、その性能は著しく低下する。 本稿では,質問理解におけるLLMのパワーと,複雑なデータベース制約を扱う自動推論手法を組み合わせた新しい解を提案する。
  論文  参考訳（メタデータ） (2024-07-06T18:56:42Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency [19.067737007347613]
  スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。 提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
  論文  参考訳（メタデータ） (2024-03-13T02:32:41Z)
• Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [15.888784472807775]
  既存のメソッドは、クエリを生成するための大規模言語モデル(LLM)の包括的な機能に依存している。 我々は,すべてのテキスト・トゥ・モデルに対して適切な知識を利用する知識・ツー・データ・エキスパート・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T09:10:04Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Querying Large Language Models with SQL [16.383179496709737]
  多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。 事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。 本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
  論文  参考訳（メタデータ） (2023-04-02T06:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。