論文の概要: DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction

• arxiv url: http://arxiv.org/abs/2304.11015v3
• Date: Thu, 2 Nov 2023 20:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 18:04:10.880698
• Title: DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
• Title（参考訳）: DIN-SQL: 自己補正によるテキストからSQLへのインコンテキスト学習
• Authors: Mohammadreza Pourreza, Davood Rafiei
• Abstract要約: 本研究では、生成問題をサブプロブレムに分解し、それらのサブプロブレムの解を大規模言語モデルに供給する方法について検討する。 文脈内学習による我々のアプローチは、多くの微調整されたモデルを少なくとも5%上回っている。
• 参考スコア（独自算出の注目度）: 7.388002745070808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is currently a significant gap between the performance of fine-tuned models and prompting approaches using Large Language Models (LLMs) on the challenging task of text-to-SQL, as evaluated on datasets such as Spider. To improve the performance of LLMs in the reasoning process, we study how decomposing the task into smaller sub-tasks can be effective. In particular, we show that breaking down the generation problem into sub-problems and feeding the solutions of those sub-problems into LLMs can be an effective approach for significantly improving their performance. Our experiments with three LLMs show that this approach consistently improves their simple few-shot performance by roughly 10%, pushing the accuracy of LLMs towards SOTA or surpassing it. On the holdout test set of Spider, the SOTA, in terms of execution accuracy, was 79.9 and the new SOTA at the time of this writing using our approach is 85.3. Our approach with in-context learning beats many heavily fine-tuned models by at least 5%. Additionally, when evaluated on the BIRD benchmark, our approach achieved an execution accuracy of 55.9%, setting a new SOTA on its holdout test set.
• Abstract（参考訳）: 現時点では、spiderのようなデータセットで評価されるように、微調整されたモデルのパフォーマンスと、テキストからsqlへの挑戦的なタスクで大規模言語モデル(llm)を使用するアプローチの間に大きなギャップがある。 推論過程におけるLLMの性能向上のために,タスクを小さなサブタスクに分解する方法を検討する。 特に,生成問題を部分問題に分解し,それらの部分問題の解をllmに供給することは,その性能を著しく向上させる効果的なアプローチであることを示す。 3つのLLMを用いた実験により,本手法は単純小ショット性能を約10%向上させ,SOTAの精度を向上させるか,それを超えるかを示す。 クモのホールドアウトテストセットでは、実行精度の点でsotaは79.9で、この記事執筆時の新しいsotaは85.3であった。 コンテキスト内学習によるアプローチは、多くの微調整されたモデルを少なくとも5%上回っています。 さらに、birdベンチマークで評価すると、55.9%の実行精度を達成し、ホールドアウトテストセットに新しいsomaを設定した。

関連論文リスト

• Leveraging Prior Experience: An Expandable Auxiliary Knowledge Base for Text-to-SQL [0.5735035463793009]
  大規模言語モデル(LLM)は多くのタスクにまたがる優れた問題解決スキルを示すが、テキスト・トゥ・コンテクストなど、下流の様々なアプリケーションでは人間に比較すると性能が劣っている。 LPE-Leveragingは,微調整を必要とせずに連続的な学習を可能にし,LLMを増強する新しいフレームワークである。 実験結果から,この連続学習手法が性能向上に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-11-20T12:03:17Z)
• Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
  知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。 我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。 KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
  論文  参考訳（メタデータ） (2024-10-15T07:51:00Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• An Empirical Study on the Effectiveness of Large Language Models for SATD Identification and Classification [13.698224831089464]
  Self-Admitted Technical Debt (SATD) は、コードコメントやその他のプロジェクトリソースに文書化されたソフトウェア開発における準最適選択を強調する概念である。 本稿では,SATDの識別と分類における大規模言語モデル(LLM)の有効性について検討する。
  論文  参考訳（メタデータ） (2024-05-10T20:39:24Z)
• Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm [19.06214756792692]
  大規模言語モデル(LLM)の文脈内学習は自然言語処理の分野で大きな成功を収めている。 ケーススタディでは、一段階のチェーン・オブ・シントアプローチが、テキスト・トゥ・コレクションのような複雑なタスクにおける注意拡散や不適切なパフォーマンスといった課題に直面していることが明らかになった。 分解によりLLMの注目度と問題解決範囲を高めることを目的としたワークフローパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-16T13:24:05Z)
• Using Natural Language Explanations to Improve Robustness of In-context Learning [35.18010811754959]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて多くのタスクを抽出できる 自然言語説明法(NLE)によるICLの強化は,敵対的データセット上でのLLMの堅牢性を向上させるかを検討する。
  論文  参考訳（メタデータ） (2023-11-13T18:49:13Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。