論文の概要: End-to-end Text-to-SQL Generation within an Analytics Insight Engine
- arxiv url: http://arxiv.org/abs/2406.12104v1
- Date: Mon, 17 Jun 2024 21:33:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 23:47:35.809509
- Title: End-to-end Text-to-SQL Generation within an Analytics Insight Engine
- Title（参考訳）: 分析インテリジェンスエンジンにおけるエンドツーエンドのテキスト-SQL生成
- Authors: Karime Maamari, Amine Mhedhbi,
- Abstract要約: テキスト・トゥ・ザ・トップの最近の進歩は、データベース管理システムをデータアクセスの民主化をさらに進めている。
Distyl AIのAnalytics Insight Engineの開発で経験した、印象的なText-to-the-topを実現する。
本稿では,大規模言語モデルを用いたテキスト・トゥ・ザ・トップパイプラインの設計と実装について述べる。
- 参考スコア（独自算出の注目度）: 1.123376893295777
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advancements in Text-to-SQL have pushed database management systems towards greater democratization of data access. Today's language models are at the core of these advancements. They enable impressive Text-to-SQL generation as experienced in the development of Distyl AI's Analytics Insight Engine. Its early deployment with enterprise customers has highlighted three core challenges. First, data analysts expect support with authoring SQL queries of very high complexity. Second, requests are ad-hoc and, as such, require low latency. Finally, generation requires an understanding of domain-specific terminology and practices. The design and implementation of our Text-to-SQL generation pipeline, powered by large language models, tackles these challenges. The core tenants of our approach rely on external knowledge that we extract in a pre-processing phase, on retrieving the appropriate external knowledge at query generation time, and on decomposing SQL query generation following a hierarchical CTE-based structure. Finally, an adaptation framework leverages feedback to update the external knowledge, in turn improving query generation over time. We give an overview of our end-to-end approach and highlight the operators generating SQL during inference.
- Abstract（参考訳）: Text-to-SQLの最近の進歩は、データベース管理システムをデータアクセスの民主化をさらに進めている。
今日の言語モデルは、これらの進歩の中核にある。
Distyl AIのAnalytics Insight Engineの開発で経験した、印象的なText-to-SQL生成を可能にする。
エンタープライズ顧客との初期の展開は、3つの重要な課題を強調した。
まず、データアナリストは、非常に複雑なSQLクエリのオーサリングのサポートを期待する。
第二に、リクエストはアドホックで、低レイテンシを必要とする。
最後に、生成にはドメイン固有の用語とプラクティスを理解する必要があります。
大規模言語モデルを活用したText-to-SQL生成パイプラインの設計と実装は、これらの課題に対処します。
このアプローチのコアテナントは、事前処理フェーズで抽出した外部知識、クエリ生成時に適切な外部知識を取得すること、階層的なCTEベースの構造に従ってSQLクエリ生成を分解することに依存しています。
最後に、適応フレームワークはフィードバックを利用して外部知識を更新し、時間とともにクエリ生成を改善する。
エンドツーエンドのアプローチの概要を説明し、推論中にSQLを生成するオペレータを強調します。
関連論文リスト
- Towards Evaluating Large Language Models for Graph Query Generation [49.49881799107061]
大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている
本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。
クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-11-13T09:11:56Z) - E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
E-レポジトリは、直接スキーマリンクと候補述語拡張による課題に対処するために設計された新しいパイプラインである。
E-は、関連するデータベースアイテム(テーブル、列、値)と条件を質問に直接組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。
本研究では,従来の研究で広く研究されてきた手法であるスキーマフィルタリングの影響について検討し,先進的な大規模言語モデルと並行して適用した場合のリターンの低下を実証する。
論文 参考訳（メタデータ） (2024-09-25T09:02:48Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-07-11T08:19:58Z) - Beyond Text-to-SQL for IoT Defense: A Comprehensive Framework for Querying and Classifying IoT Threats [24.62442027542548]
本研究では,10,985対のテキスト・ツー・IoTと239,398行のネットワークトラフィックからなる新しいテキスト・ツー・IoTデータセットを提案する。
以上の結果から,データの検索と推測を行う共同トレーニングにより,テキスト・トゥ・IoT全体のパフォーマンスが向上することが示唆された。
論文 参考訳（メタデータ） (2024-06-25T14:14:35Z) - Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL [15.75829309721909]
自然言語の質問(text-to-)から正確なsqlを生成することは、長年にわたる課題である。
PLMはテキスト・ツー・タスクに利用され、有望な性能を実現している。
近年,大規模言語モデル (LLM) は自然言語理解において重要な機能を示している。
論文 参考訳（メタデータ） (2024-06-12T17:13:17Z) - SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation [16.07396492960869]
本稿では,テキストからテキストへの変換処理に特化して設計されたトランスフォーマーアーキテクチャを提案する。
我々のモデルは、実行可能層とデコーダ層に構造的帰納バイアスを組み込んで、クエリを自動で抽象構文木(AST)として予測する。
論文 参考訳（メタデータ） (2023-10-27T00:13:59Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳（メタデータ） (2023-05-25T17:19:52Z) - A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future
Directions [102.8606542189429]
テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。
ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
論文 参考訳（メタデータ） (2022-08-29T14:24:13Z) - Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open
Domain Question Answering [78.9863753810787]
世界の知識は構造化データベースに保存されている。
クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
論文 参考訳（メタデータ） (2021-08-05T22:04:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。