論文の概要: Is Long Context All You Need? Leveraging LLM's Extended Context for NL2SQL

• arxiv url: http://arxiv.org/abs/2501.12372v1
• Date: Tue, 21 Jan 2025 18:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:06.997515
• Title: Is Long Context All You Need? Leveraging LLM's Extended Context for NL2SQL
• Title（参考訳）: 長いコンテキストは必要なのか? LLMのNL2SQL拡張コンテキストを活用する
• Authors: Yeounoh Chung, Gaurav T. Kakkar, Yu Gan, Brenton Milne, Fatma Ozcan,
• Abstract要約: 大きな言語モデル(LLM)は、さまざまな自然言語処理タスクにまたがる印象的な機能を示している。 textitgemini-pro-1.5 は BIRD ベンチマーク (dev) で67.41% の高パフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 1.1694928565998557
• License:
• Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities across a range of natural language processing tasks. In particular, improvements in reasoning abilities and the expansion of context windows have opened new avenues for leveraging these powerful models. NL2SQL is challenging in that the natural language question is inherently ambiguous, while the SQL generation requires a precise understanding of complex data schema and semantics. One approach to this semantic ambiguous problem is to provide more and sufficient contextual information. In this work, we explore the performance and the latency trade-offs of the extended context window (a.k.a., long context) offered by Google's state-of-the-art LLM (\textit{gemini-1.5-pro}). We study the impact of various contextual information, including column example values, question and SQL query pairs, user-provided hints, SQL documentation, and schema. To the best of our knowledge, this is the first work to study how the extended context window and extra contextual information can help NL2SQL generation with respect to both accuracy and latency cost. We show that long context LLMs are robust and do not get lost in the extended contextual information. Additionally, our long-context NL2SQL pipeline based on Google's \textit{gemini-pro-1.5} achieve a strong performance with 67.41\% on BIRD benchmark (dev) without finetuning and expensive self-consistency based techniques.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、さまざまな自然言語処理タスクにまたがる印象的な機能を示している。 特に、推論能力の向上とコンテキストウィンドウの拡張により、これらの強力なモデルを活用するための新たな道が開かれた。 NL2SQLは、自然言語の問題が本質的に曖昧であるのに対して、SQL生成には複雑なデータスキーマとセマンティクスの正確な理解が必要です。 この意味的曖昧な問題に対する一つのアプローチは、より十分な文脈情報を提供することである。 本研究では、Googleの最先端LCM(\textit{gemini-1.5-pro})が提供する拡張コンテキストウィンドウ(つまり、長いコンテキスト)のパフォーマンスとレイテンシのトレードオフについて検討する。 列例値,質問とSQLクエリペア,ユーザが提供するヒント,SQLドキュメント,スキーマなど,さまざまなコンテキスト情報の影響について検討する。 私たちの知る限りでは、拡張コンテキストウィンドウと余分なコンテキスト情報は、正確性とレイテンシコストの両方に関して、NL2SQLの生成にどのように役立つか、最初の研究である。 長いコンテキストLLMは堅牢であり、拡張されたコンテキスト情報では失われないことを示す。 さらに、Googleの \textit{gemini-pro-1.5} に基づいた長いコンテキストのNL2SQLパイプラインは、微調整や高価な自己整合性ベースのテクニックを使わずに、BIRDベンチマーク(dev)で67.41\%の強いパフォーマンスを実現しています。

関連論文リスト

• SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy [24.919119901664843]
  本稿では,オープンソースのLarge Language Models(LLM)を,クエリの精度とユーザビリティを高めるための一連のツールに統合する,堅牢なシステムを提案する。 Ant GroupによるSpider Leaderboardとデプロイメントのリードパフォーマンスによって実証された。
  論文  参考訳（メタデータ） (2024-07-19T06:01:57Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions [22.493487741249716]
  大規模言語モデル(LLM)は、様々なドメインやタスクにおいて印象的な機能を持つことが実証されている。 マルチターンテキスト・ツー・タスクにおけるプロンプト設計の問題について検討し,LLMの推論能力の向上を図る。
  論文  参考訳（メタデータ） (2024-05-04T16:56:14Z)
• Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [15.888784472807775]
  既存のメソッドは、クエリを生成するための大規模言語モデル(LLM)の包括的な機能に依存している。 我々は,すべてのテキスト・トゥ・モデルに対して適切な知識を利用する知識・ツー・データ・エキスパート・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T09:10:04Z)
• Blar-SQL: Faster, Stronger, Smaller NL2SQL [0.0]
  データベースの理解とクエリ生成において,タスクの分解が大規模言語モデル(LLM)に大きな利益をもたらすことを示す。 我々は、より多くの情報を限られたコンテキストに適合させるために、スキーマをチャンクに分割する新しいフレームワークを提案する。 その結果,GPT-4はGPT-4の135倍,90倍,100倍以上の速さであった。
  論文  参考訳（メタデータ） (2024-01-04T16:50:52Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• QURG: Question Rewriting Guided Context-Dependent Text-to-SQL Semantic Parsing [46.05006486399823]
  本稿では,モデルが適切な文脈理解を実現するのに役立つ新しい質問書き直し指導手法であるQURGを提案する。 まず、質問コンテキストに基づいて現在の質問を完了させるために質問書き換えモデルを訓練し、それらを書き換え編集行列に変換する。 さらに、2ストリームの行列エンコーダを設計し、質問とコンテキスト間の書き直し関係と、自然言語と構造化スキーマの関係をリンクするスキーマを共同でモデル化する。
  論文  参考訳（メタデータ） (2023-05-11T08:45:55Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。