論文の概要: SQLong: Enhanced NL2SQL for Longer Contexts with LLMs

• arxiv url: http://arxiv.org/abs/2502.16747v1
• Date: Sun, 23 Feb 2025 23:23:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:50.108428
• Title: SQLong: Enhanced NL2SQL for Longer Contexts with LLMs
• Title（参考訳）: SQLong: LLMによる長期コンテキストのための拡張NL2SQL
• Authors: Dai Quoc Nguyen, Cong Duy Vu Hoang, Duy Vu, Gioacchino Tangari, Thanh Tien Vu, Don Dharmasiri, Yuan-Fang Li, Long Duong,
• Abstract要約: オープンウェイトな大規模言語モデル (LLM) は自然言語 tosql (NL2 タスク) において大幅に性能が向上した。 提案するSQLongは,NL2タスクの長文シナリオにおけるLLM性能を向上させるために設計された,新規で効率的なデータ拡張フレームワークである。
• 参考スコア（独自算出の注目度）: 15.325081418516417
• License:
• Abstract: Open-weight large language models (LLMs) have significantly advanced performance in the Natural Language to SQL (NL2SQL) task. However, their effectiveness diminishes when dealing with large database schemas, as the context length increases. To address this limitation, we present SQLong, a novel and efficient data augmentation framework designed to enhance LLM performance in long-context scenarios for the NL2SQL task. SQLong generates augmented datasets by extending existing database schemas with additional synthetic CREATE TABLE commands and corresponding data rows, sampled from diverse schemas in the training data. This approach effectively simulates long-context scenarios during finetuning and evaluation. Through experiments on the Spider and BIRD datasets, we demonstrate that LLMs finetuned with SQLong-augmented data significantly outperform those trained on standard datasets. These imply SQLong's practical implementation and its impact on improving NL2SQL capabilities in real-world settings with complex database schemas.
• Abstract（参考訳）: オープンウェイトな大規模言語モデル(LLM)は、自然言語からSQLへのタスク(NL2SQL)において大幅にパフォーマンスが向上している。 しかし、コンテキスト長が増加するにつれて、大きなデータベーススキーマを扱う場合の有効性は低下する。 この制限に対処するために,NL2SQLタスクの長文シナリオにおけるLLM性能を向上させるために設計された,新規で効率的なデータ拡張フレームワークであるSQLongを提案する。 SQLongは、トレーニングデータ内のさまざまなスキーマからサンプリングされたCREATE TABLEコマンドと対応するデータ行を追加して、既存のデータベーススキーマを拡張して、拡張データセットを生成する。 このアプローチは、微調整および評価中の長期コンテキストシナリオを効果的にシミュレートする。 スパイダーとBIRDデータセットの実験を通じて、SQLong拡張データで微調整されたLLMが、標準データセットでトレーニングされたデータよりも大幅に優れていたことを実証した。 これはSQLongの実践的な実装と、複雑なデータベーススキーマを使用した現実世界の設定におけるNL2SQL機能の改善に対する影響を暗示している。

関連論文リスト

• Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
  知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。 我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。 KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
  論文  参考訳（メタデータ） (2024-10-15T07:51:00Z)
• Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
  オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。 より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
  論文  参考訳（メタデータ） (2024-08-06T15:40:32Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency [19.067737007347613]
  スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。 提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
  論文  参考訳（メタデータ） (2024-03-13T02:32:41Z)
• SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
  Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。 Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。 emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
  論文  参考訳（メタデータ） (2023-11-06T05:24:06Z)
• Interleaving Pre-Trained Language Models and Large Language Models for Zero-Shot NL2SQL Generation [23.519727682763644]
  ZeroNL2は、新しい環境に適応する自然言語のtosqlの実現に不可欠である。 既存のアプローチは、データに基づいた微調整事前学習言語モデル(PLM)か、ChatGPTのような固定された大言語モデル(LLM)をガイドするプロンプトを使用する。 ゼロショットNL2をサポートするために, PLM と LLM の相補的な利点を組み合わせた ZeroNL2 フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-15T06:50:51Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。