論文の概要: Synthesizing Text-to-SQL Data from Weak and Strong LLMs

• arxiv url: http://arxiv.org/abs/2408.03256v1
• Date: Tue, 6 Aug 2024 15:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 13:48:07.683028
• Title: Synthesizing Text-to-SQL Data from Weak and Strong LLMs
• Title（参考訳）: 弱LLMと強LLMからのテキスト-SQLデータの合成
• Authors: Jiaxi Yang, Binyuan Hui, Min Yang, Jian Yang, Junyang Lin, Chang Zhou,
• Abstract要約: オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。 より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
• 参考スコア（独自算出の注目度）: 68.69270834311259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The capability gap between open-source and closed-source large language models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we introduce a synthetic data approach that combines data produced by larger, more powerful models (strong models) with error information data generated by smaller, not well-aligned models (weak models). The method not only enhances the domain generalization of text-to-SQL models but also explores the potential of error data supervision through preference learning. Furthermore, we employ the synthetic data approach for instruction tuning on open-source LLMs, resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is demonstrated through state-of-the-art results on the SPIDER and BIRD benchmarks, bridging the performance gap between open-source models and methods prompted by closed-source models.
• Abstract（参考訳）: オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキストからSQLタスクにおいて依然として課題である。 本稿では,より大規模で強力なモデル(強みモデル)が生成するデータと,より小型で整合性のないモデル(弱みモデル)が生成する誤り情報データを組み合わせた合成データアプローチを提案する。 この手法は、テキストからSQLモデルへのドメインの一般化を促進させるだけでなく、優先学習によるエラーデータ監視の可能性を探る。 さらに,オープンソース LLM の命令チューニングに合成データを用いた結果,SENSE は特殊テキスト-SQL モデルである。 SENSEの有効性は、SPIDERとBIRDベンチマークの最先端結果を通じて実証され、オープンソースモデルとクローズドソースモデルによるメソッドのパフォーマンスギャップを埋める。

関連論文リスト

• Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists [41.94295877935867]
  データサイエンスにおける最も知識集約的な課題の1つに取り組むために設計された,大規模言語モデルのベンチマークを示す。 提案手法のFeatEngは,LLMの幅広い能力を安価かつ効率的に評価できることを実証する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:01Z)
• MSc-SQL: Multi-Sample Critiquing Small Language Models For Text-To-SQL Translation [10.205010004198757]
  テキスト・ツー・ジェネレーションは、非専門家が自然言語でデータベースと対話することを可能にする。 GPT-4のような大規模クローズドソースモデルの最近の進歩は、アクセシビリティ、プライバシ、レイテンシの課題を提示している。 我々は、小型で効率的でオープンソースのテキスト・ツー・ジェネレーション・モデルの開発に注力する。
  論文  参考訳（メタデータ） (2024-10-16T18:03:24Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• CodeS: Towards Building Open-source Language Models for Text-to-SQL [42.11113113574589]
  1Bから15Bまでのパラメータを持つ事前学習言語モデルであるCodeSを紹介する。 CodeSは完全にオープンな言語モデルであり、パラメータサイズをはるかに小さくすることで精度が向上する。 我々は、広く使われているスパイダーベンチマークを含む、複数のデータセットの包括的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-26T07:00:58Z)
• Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm [19.06214756792692]
  大規模言語モデル(LLM)の文脈内学習は自然言語処理の分野で大きな成功を収めている。 ケーススタディでは、一段階のチェーン・オブ・シントアプローチが、テキスト・トゥ・コレクションのような複雑なタスクにおける注意拡散や不適切なパフォーマンスといった課題に直面していることが明らかになった。 分解によりLLMの注目度と問題解決範囲を高めることを目的としたワークフローパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-16T13:24:05Z)
• DTS-SQL: Decomposed Text-to-SQL with Small Large Language Models [7.388002745070808]
  本稿では,タスクを2つの単純なタスクに分解する,新しい2段階の微調整手法を提案する。 このアプローチは実行精度を3～7%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T03:21:00Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• Importance of Synthesizing High-quality Data for Text-to-SQL Parsing [71.02856634369174]
  最先端のテキストから重み付けアルゴリズムは、強化された合成データでトレーニングされた場合、一般的なベンチマークでは改善されなかった。 本稿では,スキーマから重要な関係を取り入れ,強い型付けを課し,スキーマ重み付きカラムサンプリングを行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-17T02:53:21Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
  本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
  論文  参考訳（メタデータ） (2021-04-12T21:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。