論文の概要: DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction

• arxiv url: http://arxiv.org/abs/2304.11015v1
• Date: Fri, 21 Apr 2023 15:02:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 14:24:49.112864
• Title: DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
• Title（参考訳）: DIN-SQL: 自己補正によるテキストからSQLへのインコンテキスト学習
• Authors: Mohammadreza Pourreza, Davood Rafiei
• Abstract要約: 複雑なテキストからスカルタスクを小さなサブタスクに分解する問題について検討する。 この分解により,Large Language Models (LLM) の性能が大幅に向上することを示す。 3つの LLM を用いて行った実験から,このアプローチは性能をほぼ10%向上することがわかった。
• 参考スコア（独自算出の注目度）: 2.512827436728378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of decomposing a complex text-to-sql task into smaller sub-tasks and how such a decomposition can significantly improve the performance of Large Language Models (LLMs) in the reasoning process. There is currently a significant gap between the performance of fine-tuned models and prompting approaches using LLMs on challenging text-to-sql datasets such as Spider. We show that SQL queries, despite their declarative structure, can be broken down into sub-problems and the solutions of those sub-problems can be fed into LLMs to significantly improve their performance. Our experiments with three LLMs show that this approach consistently improves their performance by roughly 10%, pushing the accuracy of LLMs towards state-of-the-art, and even beating large fine-tuned models on the holdout Spider dataset.
• Abstract（参考訳）: 複雑なテキストからスカルタスクを小さなサブタスクに分解する問題と、そのような分解が推論過程におけるLarge Language Models (LLMs) の性能を大幅に向上させる方法について検討する。 現在、微調整されたモデルのパフォーマンスと、Spiderのようなテキスト間データセットに挑戦するLLMを使ったアプローチの間には、大きなギャップがある。 宣言的構造にもかかわらず、SQLクエリはサブプロブレムに分解でき、それらのサブプロブレムのソリューションはLLMに供給され、パフォーマンスを著しく向上させることができる。 3つのLLMを用いた実験により、このアプローチはおよそ10%の性能向上を図り、LLMの精度を最先端に向けて押し上げ、さらにはホールドアウトスパイダーデータセット上での大きめの微調整モデルを打ち負かした。

関連論文リスト

• Leveraging Prior Experience: An Expandable Auxiliary Knowledge Base for Text-to-SQL [0.5735035463793009]
  大規模言語モデル(LLM)は多くのタスクにまたがる優れた問題解決スキルを示すが、テキスト・トゥ・コンテクストなど、下流の様々なアプリケーションでは人間に比較すると性能が劣っている。 LPE-Leveragingは,微調整を必要とせずに連続的な学習を可能にし,LLMを増強する新しいフレームワークである。 実験結果から,この連続学習手法が性能向上に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-11-20T12:03:17Z)
• Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
  知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。 我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。 KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
  論文  参考訳（メタデータ） (2024-10-15T07:51:00Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• An Empirical Study on the Effectiveness of Large Language Models for SATD Identification and Classification [13.698224831089464]
  Self-Admitted Technical Debt (SATD) は、コードコメントやその他のプロジェクトリソースに文書化されたソフトウェア開発における準最適選択を強調する概念である。 本稿では,SATDの識別と分類における大規模言語モデル(LLM)の有効性について検討する。
  論文  参考訳（メタデータ） (2024-05-10T20:39:24Z)
• Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm [19.06214756792692]
  大規模言語モデル(LLM)の文脈内学習は自然言語処理の分野で大きな成功を収めている。 ケーススタディでは、一段階のチェーン・オブ・シントアプローチが、テキスト・トゥ・コレクションのような複雑なタスクにおける注意拡散や不適切なパフォーマンスといった課題に直面していることが明らかになった。 分解によりLLMの注目度と問題解決範囲を高めることを目的としたワークフローパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-16T13:24:05Z)
• Using Natural Language Explanations to Improve Robustness of In-context Learning [35.18010811754959]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて多くのタスクを抽出できる 自然言語説明法(NLE)によるICLの強化は,敵対的データセット上でのLLMの堅牢性を向上させるかを検討する。
  論文  参考訳（メタデータ） (2023-11-13T18:49:13Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。