論文の概要: Open-SQL Framework: Enhancing Text-to-SQL on Open-source Large Language Models

• arxiv url: http://arxiv.org/abs/2405.06674v1
• Date: Sat, 4 May 2024 15:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 03:27:39.856686
• Title: Open-SQL Framework: Enhancing Text-to-SQL on Open-source Large Language Models
• Title（参考訳）: Open-SQL Framework: オープンソースの大規模言語モデルにおけるテキストからSQLへの拡張
• Authors: Xiaojun Chen, Tianle Wang, Tianhao Qiu, Jianbin Qin, Min Yang,
• Abstract要約: オープンソースコヒーレンスを用いたテキスト・トゥ・オープンに適した体系的手法を提案する。 コントリビューションには、テキスト・トゥ・オープンタスクにおけるオープンソースのLCMの包括的評価、効果的な質問表現のためのオープンプロンプト戦略、教師付き微調整のための新しい戦略が含まれる。 BIRD-Devデータセットでは,Llama2-7Bを2.54%から41.04%に,Code Llama-7Bを14.54%から48.24%に改善した。
• 参考スコア（独自算出の注目度）: 15.201658508297333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of large language models (LLMs) in Text-to-SQL tasks, open-source LLMs encounter challenges in contextual understanding and response coherence. To tackle these issues, we present \ours, a systematic methodology tailored for Text-to-SQL with open-source LLMs. Our contributions include a comprehensive evaluation of open-source LLMs in Text-to-SQL tasks, the \openprompt strategy for effective question representation, and novel strategies for supervised fine-tuning. We explore the benefits of Chain-of-Thought in step-by-step inference and propose the \openexample method for enhanced few-shot learning. Additionally, we introduce token-efficient techniques, such as \textbf{Variable-length Open DB Schema}, \textbf{Target Column Truncation}, and \textbf{Example Column Truncation}, addressing challenges in large-scale databases. Our findings emphasize the need for further investigation into the impact of supervised fine-tuning on contextual learning capabilities. Remarkably, our method significantly improved Llama2-7B from 2.54\% to 41.04\% and Code Llama-7B from 14.54\% to 48.24\% on the BIRD-Dev dataset. Notably, the performance of Code Llama-7B surpassed GPT-4 (46.35\%) on the BIRD-Dev dataset.
• Abstract（参考訳）: Text-to-SQLタスクにおける大きな言語モデル(LLM)の成功にもかかわらず、オープンソースのLLMはコンテキスト理解と応答コヒーレンスにおいて課題に直面している。 これらの問題に対処するため,オープンソースのLLMでテキストからSQLに適合する体系的手法である \ours を提示する。 コントリビューションには、Text-to-SQLタスクにおけるオープンソースのLCMの包括的な評価、効果的な質問表現のためのOpenprompt戦略、教師付き微調整のための新しい戦略が含まれる。 ステップ・バイ・ステップ推論におけるChain-of-Thoughtの利点を探求し,数ショット学習の強化を目的とした'openexample method'を提案する。 さらに, 大規模データベースにおける課題に対処するため, トークン効率の高い手法として, \textbf{Variable-length Open DB Schema}, \textbf{Target Column Truncation}, \textbf{Example Column Truncation} を導入する。 本研究は,教師付き微調整が文脈学習能力に与える影響について,さらなる調査の必要性を強調した。 BIRD-Devデータセットでは,Llama2-7Bが2.54 %から41.04 %に,Code Llama-7Bが14.54 %から48.24 %に改善された。 特に、Code Llama-7B のパフォーマンスは BIRD-Dev データセット上で GPT-4 (46.35\%) を上回った。

関連論文リスト

• SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy [24.919119901664843]
  本稿では,オープンソースのLarge Language Models(LLM)を,クエリの精度とユーザビリティを高めるための一連のツールに統合する,堅牢なシステムを提案する。 Ant GroupによるSpider Leaderboardとデプロイメントのリードパフォーマンスによって実証された。
  論文  参考訳（メタデータ） (2024-07-19T06:01:57Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm [19.06214756792692]
  大規模言語モデル(LLM)の文脈内学習は自然言語処理の分野で大きな成功を収めている。 ケーススタディでは、一段階のチェーン・オブ・シントアプローチが、テキスト・トゥ・コレクションのような複雑なタスクにおける注意拡散や不適切なパフォーマンスといった課題に直面していることが明らかになった。 分解によりLLMの注目度と問題解決範囲を高めることを目的としたワークフローパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-16T13:24:05Z)
• MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
  最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。 我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。 我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。 次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
  論文  参考訳（メタデータ） (2023-12-18T14:40:20Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
  テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。 データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。 最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
  論文  参考訳（メタデータ） (2023-05-04T19:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。