論文の概要: LR-SQL: A Supervised Fine-Tuning Method for Text2SQL Tasks under Low-Resource Scenarios

• arxiv url: http://arxiv.org/abs/2410.11457v1
• Date: Tue, 15 Oct 2024 10:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:43.776736
• Title: LR-SQL: A Supervised Fine-Tuning Method for Text2SQL Tasks under Low-Resource Scenarios
• Title（参考訳）: LR-SQL:低リソースシナリオ下でのText2SQLタスクの修正された微調整方法
• Authors: Wen Wuzhenghong, Zhang Yongpan, Pan Su, Sun Yuwei, Lu Pengwei, Ding Cheng,
• Abstract要約: 大規模言語モデルは、教師付き微調整によってText2に革命をもたらす。 しかし、データベースの複雑さがコンテキスト長の増大につながるため、重要な制限は見過ごされてしまう。 本稿では,既存の微調整法と比較して,全GPUメモリ使用量を40%削減するLR-Thoughtを提案する。
• 参考スコア（独自算出の注目度）: 1.4387218083918762
• License:
• Abstract: Large language models revolutionize Text2SQL through supervised fine-tuning, yet a crucial limitation is overlooked: the complexity of databases leads to an increased context length, consequently resulting in higher GPU memory demands for model fine-tuning. To address this issue, we propose LR-SQL. LR-SQL comprises two supervised fine-tuning models: the schema\_link model and the SQL\_generation model, with the schema\_link model serving as the focal point for streamlining the overall process. During the fine-tuning of the schema\_link model, LR-SQL breaks down the complete database into flexible combinations of tables with adjustable quantities, enabling the model to learn the relationships within the entire database from these dispersed slices. Furthermore, to enhance the model's ability to perceive the relationships among various discrete slices during inference, LR-SQL trains the model's Chain-of-Thought capability for this task. Experimental results demonstrate that LR-SQL can reduce the total GPU memory usage by 40\% compared to existing fine-tuning methods, while only losing 2\% of table prediction accuracy in schema\_link task. For the overall Text2SQL task, the Execution Accuracy decrease by 0.6\%.Our project is now available on https://github.com/hongWin/LR-SQL
• Abstract（参考訳）: 大規模言語モデルは、教師付き微調整によってText2SQLに革命をもたらすが、重要な制限は見過ごされている。 この問題に対処するため、LR-SQLを提案する。 LR-SQLは2つの教師付き微調整モデル:schema\_linkモデルとSQL\_generationモデル。 schema\_linkモデルの微調整の間、LR-SQLは完全なデータベースをテーブルの柔軟な組み合わせと調整可能な量に分解し、これらの分散スライスからデータベース全体の関係を学習する。 さらに、推論中にモデルの様々なスライス間の関係を知覚する能力を高めるために、LR-SQLはモデルのChain-of-Thought能力をトレーニングする。 実験により、LR-SQLは既存の微調整法と比較してGPUメモリの総使用量を40%削減できるが、schema\_linkタスクではテーブル予測精度が2倍に低下していることがわかった。 Text2SQLタスク全体の実行精度は0.6\%減少する。 私たちのプロジェクトはhttps://github.com/hongWin/LR-SQLで利用可能です。

関連論文リスト

• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [12.765849111313614]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 BIRDとSpiderのベンチマーク実験により,提案手法がオープンソースソリューションの最先端実行精度を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• MAG-SQL: Multi-Agent Generative Approach with Soft Schema Linking and Iterative Sub-SQL Refinement for Text-to-SQL [15.824894030016187]
  近年,テキスト・トゥ・コンテクスト・タスクにおいて,インコンテキスト・ラーニングに基づく手法が顕著な成功を収めている。 これらのモデルのパフォーマンスと、複雑なデータベーススキーマを持つデータセット上でのヒューマンパフォーマンスとの間には、依然として大きなギャップがあります。 本フレームワークでは,データベース内の列の選択にテーブルの要約を含むエンティティベースの手法を用い,それらの複雑な質問を分解するために,新たな目標条件分解手法を導入する。
  論文  参考訳（メタデータ） (2024-08-15T04:57:55Z)
• The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models [0.9149661171430259]
  次世代の大規模言語モデル(LLM)を使用する場合のスキーマリンクを再検討する。 より新しいモデルでは,無関係なモデルが多数存在する場合でも,生成時に関連するスキーマ要素を利用することが可能であることが実証的に判明した。 文脈情報をフィルタリングする代わりに、拡張、選択、修正などのテクニックを強調し、テキストからBIRDパイプラインの精度を向上させるためにそれらを採用する。
  論文  参考訳（メタデータ） (2024-08-14T17:59:04Z)
• Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
  オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。 より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
  論文  参考訳（メタデータ） (2024-08-06T15:40:32Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• Blar-SQL: Faster, Stronger, Smaller NL2SQL [0.0]
  データベースの理解とクエリ生成において,タスクの分解が大規模言語モデル(LLM)に大きな利益をもたらすことを示す。 我々は、より多くの情報を限られたコンテキストに適合させるために、スキーマをチャンクに分割する新しいフレームワークを提案する。 その結果,GPT-4はGPT-4の135倍,90倍,100倍以上の速さであった。
  論文  参考訳（メタデータ） (2024-01-04T16:50:52Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Wav2SQL: Direct Generalizable Speech-To-SQL Parsing [55.10009651476589]
  Speech-to-Spider (S2Spider) は、与えられたデータベースに対する音声質問をsqlクエリに変換することを目的としている。 ケースドシステム間の誤り合成を回避した,最初の直接音声-話者パーシングモデルWav2を提案する。 実験結果から,Wav2は誤差混成を回避し,ベースラインの精度を最大2.5%向上させることで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T19:26:46Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)
• Leveraging Table Content for Zero-shot Text-to-SQL with Meta-Learning [25.69875174742935]
  単一テーブルのテキスト・トゥ・ワンは、自然言語の質問を単一のテーブルに従ってクエリに変換することを目的としている。 我々は、追加のマニュアルアノテーションに依存しないゼロショットテキスト・ツー・ワンタスクに対して、新しいアプローチを提案する。 パブリックなオープンドメインのテキスト・ツー・ワン・データセットとドメイン固有のデータセットEについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-09-12T01:01:28Z)
• IGSQL: Database Schema Interaction Graph Based Neural Model for Context-Dependent Text-to-SQL Generation [61.09660709356527]
  本稿では,データベーススキーマインタラクショングラフエンコーダを提案し,データベーススキーマ項目の履歴情報を利用する。 ベンチマークSParCおよびCoデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-11-11T12:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。