論文の概要: CHESS: Contextual Harnessing for Efficient SQL Synthesis

• arxiv url: http://arxiv.org/abs/2405.16755v3
• Date: Mon, 25 Nov 2024 19:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:11.158650
• Title: CHESS: Contextual Harnessing for Efficient SQL Synthesis
• Title（参考訳）: CHESS: 効率的なSQL合成のためのコンテキストハラスメント
• Authors: Shayan Talaei, Mohammadreza Pourreza, Yu-Chen Chang, Azalia Mirhoseini, Amin Saberi,
• Abstract要約: 効率的でスケーラブルなテキスト・ツー・クエリのためのフレームワークであるCHESSを紹介します。 特殊エージェントは4つあり、それぞれが上記の課題の1つをターゲットにしている。 私たちのフレームワークは、さまざまなデプロイメント制約に適応する機能を提供する。
• 参考スコア（独自算出の注目度）: 1.9506402593665235
• License:
• Abstract: Translating natural language questions into SQL queries, known as text-to-SQL, is a long-standing research problem. Effective text-to-SQL synthesis can become very challenging due to (i) the extensive size of database catalogs (descriptions of tables and their columns) and database values, (ii) reasoning over large database schemas, (iii) ensuring the functional validity of the generated queries, and (iv) navigating the ambiguities of natural language questions. We introduce CHESS, a Large Language Model (LLM) based multi-agent framework for efficient and scalable SQL synthesis, comprising four specialized agents, each targeting one of the aforementioned challenges: the Information Retriever (IR) extracts relevant data, the Schema Selector (SS) prunes large schemas, the Candidate Generator (CG) generates high-quality candidates and refines queries iteratively, and the Unit Tester (UT) validates queries through LLM-based natural language unit tests. Our framework offers configurable features that adapt to various deployment constraints, including 1) Supporting industrial-scale databases: leveraging the Schema Selector agent, CHESS efficiently narrows down very large database schemas into manageable sub-schemas, boosting system accuracy by approximately $2\%$ and reducing the number of LLM tokens by $\times 5$. 2) State-of-the-Art privacy-preserving performance: Among the methods using open-source models, CHESS achieves state-of-the-art performance, resulting in a high-performing, privacy-preserving system suitable for industrial deployment. 3) Scalablity with additional compute budget: In settings with high computational budgets, CHESS achieves $71.10\%$ accuracy on the BIRD test set, within $2\%$ of the leading proprietary method, while requiring approximately $83\%$ fewer LLM calls.
• Abstract（参考訳）: 自然言語の質問をSQLクエリに変換することは、text-to-SQLとして知られる、長年にわたる研究課題である。 効率的なテキスト間SQL合成は、非常に困難になる可能性がある i) データベースカタログ(テーブルとその列の記述)とデータベースの値の広範なサイズ。 (ii)大規模なデータベーススキーマに対する推論 三 生成されたクエリの機能的妥当性を確保すること、及び (4)自然言語質問のあいまいさをナビゲートすること。 情報検索(IR)は関連するデータを抽出し、スキーマセレクタ(SS)は大きなスキーマを抽出し、候補生成(CG)は高品質な候補を生成し、クエリを反復的に洗練し、ユニットテスト(UT)はLLMベースの自然言語ユニットテストを通じてクエリを検証する。 私たちのフレームワークは、さまざまなデプロイメント制約に適応する設定可能な機能を提供する。 1) 産業規模のデータベースのサポート: Schema Selectorエージェントを利用することで、CHESSは、非常に大規模なデータベーススキーマを管理可能なサブスキーマに効率的に絞り込み、システム精度を約2\%押し上げ、LLMトークンの数を$\times 5$押し下げる。 2) 最先端のプライバシ保存性能: オープンソースモデルを用いた手法の中で,CHESSは最先端のパフォーマンスを実現し,産業展開に適した高いパフォーマンスのプライバシ保存システムを実現する。 3) 計算予算の高い設定では、CHESSはBIRDテストセットで711.10\%の精度を達成し、主要なプロプライエタリなメソッドの$2\%以内で、約8,3\%のLCMコールを減らします。

関連論文リスト

• Towards Evaluating Large Language Models for Graph Query Generation [49.49881799107061]
  大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている 本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。 クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T09:11:56Z)
• Towards Optimizing SQL Generation via LLM Routing [10.586036551269935]
  大規模言語モデル(LLM)は複雑なクエリに対して高い精度を達成するが、より単純なクエリでは不要なレイテンシとコストがかかる。 クエリ毎に最もコスト効率の良いLCMを動的に選択するText-to-sqlに対して,最初のLLMルーティング手法を提案する。 コスト削減を図りながら、最も有能なLCMに匹敵する精度を実現する2つのルーティング戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-06T23:47:54Z)
• CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL [9.47170756607886]
  CHASE-は、マルチエージェントモデリングにおけるテスト時間計算を用いて、候補生成と選択を改善する革新的な戦略を利用する新しいフレームワークである。 最適な候補を特定するために、選別エージェントを用いて、微調整された二項候補選択LLMとのペア比較により候補をランク付けする。 提案したCHASE-は、BIRD Text-to- datasetベンチマークのテストセットと開発セットにおいて、73.0%と73.01%の最先端実行精度を実現している。
  論文  参考訳（メタデータ） (2024-10-02T18:41:35Z)
• E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
  E-レポジトリは、直接スキーマリンクと候補述語拡張による課題に対処するために設計された新しいパイプラインである。 E-は、関連するデータベースアイテム(テーブル、列、値)と条件を質問に直接組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。 本研究では,従来の研究で広く研究されてきた手法であるスキーマフィルタリングの影響について検討し,先進的な大規模言語モデルと並行して適用した場合のリターンの低下を実証する。
  論文  参考訳（メタデータ） (2024-09-25T09:02:48Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL [0.0]
  検索拡張世代(RAG)フレームワークでOpenAIのGPT-4モデルを利用する。 ビジネスコンテキストドキュメントはビジネスコンテキストドキュメントでリッチ化され、NLQを構造化クエリ言語クエリに変換する。 複雑性の高いクエリが除外された場合、パフォーマンスは最大85%向上した。
  論文  参考訳（メタデータ） (2024-06-15T17:07:31Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。