論文の概要: Hybrid Querying Over Relational Databases and Large Language Models

• arxiv url: http://arxiv.org/abs/2408.00884v2
• Date: Fri, 15 Nov 2024 20:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:28:44.018911
• Title: Hybrid Querying Over Relational Databases and Large Language Models
• Title（参考訳）: 関係データベースと大規模言語モデルに対するハイブリッドクエリ
• Authors: Fuheng Zhao, Divyakant Agrawal, Amr El Abbadi,
• Abstract要約: 実世界の4つのデータベースに対する120以上の問合せを含む最初のクロスドメインベンチマークであるSWANを提示する。 1つはスキーマ拡張に基づくもので、もう1つはユーザ定義関数に基づくものである。 評価の結果,GPT-4Turboを数発のプロンプトで使用すれば,実行精度が40.0%,データ事実性が48.2%まで向上できることがわかった。
• 参考スコア（独自算出の注目度）: 8.926173054003547
• License:
• Abstract: Database queries traditionally operate under the closed-world assumption, providing no answers to questions that require information beyond the data stored in the database. Hybrid querying using SQL offers an alternative by integrating relational databases with large language models (LLMs) to answer beyond-database questions. In this paper, we present the first cross-domain benchmark, SWAN, containing 120 beyond-database questions over four real-world databases. To leverage state-of-the-art language models in addressing these complex questions in SWAN, we present two solutions: one based on schema expansion and the other based on user defined functions. We also discuss optimization opportunities and potential future directions. Our evaluation demonstrates that using GPT-4 Turbo with few-shot prompts, one can achieves up to 40.0\% in execution accuracy and 48.2\% in data factuality. These results highlights both the potential and challenges for hybrid querying. We believe that our work will inspire further research in creating more efficient and accurate data systems that seamlessly integrate relational databases and large language models to address beyond-database questions.
• Abstract（参考訳）: データベースクエリは従来、クローズドワールドの仮定の下で運用され、データベースに格納されたデータ以外の情報を必要とする質問に対する回答は提供されない。 SQLを使用したハイブリッドクエリは、リレーショナルデータベースと大きな言語モデル(LLM)を統合することで、データベースを越えた質問に答える代替手段を提供する。 本稿では,4つの実世界のデータベースに対して,120以上の問合せを含む最初のクロスドメインベンチマークSWANを提案する。 SWANにおけるこれらの複雑な問題に対処する上で,現状の言語モデルを活用するために,スキーマ拡張に基づく解と,ユーザ定義関数に基づく解の2つを提示する。 また、最適化の機会と今後の方向性についても論じる。 評価の結果,GPT-4Turboを数発のプロンプトで使用すれば,実行精度が最大40.0\%,データ事実性が48.2\%に達することがわかった。 これらの結果は、ハイブリッドクエリの可能性と課題の両方を強調している。 私たちは、リレーショナルデータベースと大規模言語モデルをシームレスに統合し、データベースを超えた問題に対処する、より効率的で正確なデータシステムを構築するための、さらなる研究を後押しすると考えています。

関連論文リスト

• E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
  E-レポジトリは、直接スキーマリンクと候補述語拡張による課題に対処するために設計された新しいパイプラインである。 E-は、関連するデータベースアイテム(テーブル、列、値)と条件を質問に直接組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。 本研究では,従来の研究で広く研究されてきた手法であるスキーマフィルタリングの影響について検討し,先進的な大規模言語モデルと並行して適用した場合のリターンの低下を実証する。
  論文  参考訳（メタデータ） (2024-09-25T09:02:48Z)
• A System and Benchmark for LLM-based Q&A on Heterogeneous Data [17.73258512415368]
  データベースとAPIの両方へのシームレスな自然言語アクセスを可能にするsiwarexプラットフォームを導入しました。 修正されたスパイダーベンチマークは、近く研究コミュニティに公開される予定です。
  論文  参考訳（メタデータ） (2024-09-09T15:44:39Z)
• Text2SQL is Not Enough: Unifying AI and Databases with TAG [47.45480855418987]
  Table-Augmented Generation (TAG) は、データベース上の自然言語の質問に答えるパラダイムである。 我々は、TAG問題を研究するためのベンチマークを開発し、標準手法がクエリの20%以上を正しく答えることを発見した。
  論文  参考訳（メタデータ） (2024-08-27T00:50:14Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• KU-DMIS at EHRSQL 2024:Generating SQL query via question templatization in EHR [17.998140363824174]
  本稿では、ドメイン外質問とクエリ実行で生成されたクエリを堅牢に処理する新しいテキスト・ツー・ドメインフレームワークを提案する。 我々は,強力な大規模言語モデル (LLM) と細調整のGPT-3.5を用いて,EHRデータベースシステムのテーブルスキーマを含む詳細なプロンプトを出力する。
  論文  参考訳（メタデータ） (2024-05-22T02:15:57Z)
• TANQ: An open domain dataset of table answered questions [15.323690523538572]
  TANQは、複数のソースにまたがる情報からテーブルを構築する必要がある、最初のオープンドメイン質問応答データセットである。 結果の表にあるすべてのセルに対する完全なソース属性を公開し、オープン、オラクル、クローズドブックのセットアップで最先端の言語モデルをベンチマークします。 最も優れたベースラインであるGPT4は、全体的なF1スコア29.1に達し、人間のパフォーマンスを19.7ポイント遅れています。
  論文  参考訳（メタデータ） (2024-05-13T14:07:20Z)
• Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
  テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。 データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。 最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
  論文  参考訳（メタデータ） (2023-05-04T19:02:29Z)
• QUADRo: Dataset and Models for QUestion-Answer Database Retrieval [97.84448420852854]
  質問/回答(q/a)ペアのデータベース(DB)が与えられた場合、同じ質問に対してDBをスキャンすることで、対象の質問に答えることができる。 我々は6.3Mのq/aペアからなる大規模DBを構築し、公開質問を用いて、ニューラルIRとq/aペアリランカに基づく新しいシステムを設計する。 我々は、Bing検索エンジン上に構築されたQAシステムという、Webベースの手法とDBベースのアプローチが競合することを示す。
  論文  参考訳（メタデータ） (2023-03-30T00:42:07Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。