論文の概要: DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with
Self-Correction
- arxiv url: http://arxiv.org/abs/2304.11015v2
- Date: Thu, 27 Apr 2023 17:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 15:57:33.081744
- Title: DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with
Self-Correction
- Title(参考訳): DIN-SQL: 自己補正によるテキストからSQLへのインコンテキスト学習
- Authors: Mohammadreza Pourreza, Davood Rafiei
- Abstract要約: 複雑なテキストからスカルタスクを小さなサブタスクに分解する問題について検討する。
この分解により,Large Language Models (LLM) の性能が大幅に向上することを示す。
3つの LLM を用いて行った実験から,このアプローチは性能をほぼ10%向上することがわかった。
- 参考スコア(独自算出の注目度): 2.512827436728378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of decomposing a complex text-to-sql task into smaller
sub-tasks and how such a decomposition can significantly improve the
performance of Large Language Models (LLMs) in the reasoning process. There is
currently a significant gap between the performance of fine-tuned models and
prompting approaches using LLMs on challenging text-to-sql datasets such as
Spider. We show that SQL queries, despite their declarative structure, can be
broken down into sub-problems and the solutions of those sub-problems can be
fed into LLMs to significantly improve their performance. Our experiments with
three LLMs show that this approach consistently improves their performance by
roughly 10%, pushing the accuracy of LLMs towards state-of-the-art, and even
beating large fine-tuned models on the holdout Spider dataset.
- Abstract(参考訳): 複雑なテキストからスカルタスクを小さなサブタスクに分解する問題と、そのような分解が推論過程におけるLarge Language Models (LLMs) の性能を大幅に向上させる方法について検討する。
現在、微調整されたモデルのパフォーマンスと、Spiderのようなテキスト間データセットに挑戦するLLMを使ったアプローチの間には、大きなギャップがある。
宣言的構造にもかかわらず、SQLクエリはサブプロブレムに分解でき、それらのサブプロブレムのソリューションはLLMに供給され、パフォーマンスを著しく向上させることができる。
3つのLLMを用いた実験により、このアプローチはおよそ10%の性能向上を図り、LLMの精度を最先端に向けて押し上げ、さらにはホールドアウトスパイダーデータセット上での大きめの微調整モデルを打ち負かした。
関連論文リスト
- Search-based Optimisation of LLM Learning Shots for Story Point
Estimation [3.5365325264937897]
探索に基づく手法を用いて,LLMの推定性能を向上させる実例の数と組み合わせを最適化する。
予備実験の結果,SBSE法によりLLMの推定性能は平均59.34%向上した。
論文 参考訳(メタデータ) (2024-03-13T11:29:37Z) - Benchmarking the Text-to-SQL Capability of Large Language Models: A
Comprehensive Evaluation [33.41556606816004]
大規模言語モデル(LLM)は、テキストからタスクへ進むための強力なツールとして登場した。
最適なプロンプトテンプレートと設計フレームワークについてはまだ合意が得られていない。
既存のベンチマークでは、テキスト・ツー・プロセスの様々なサブタスクにまたがるLCMのパフォーマンスが不十分である。
論文 参考訳(メタデータ) (2024-03-05T13:23:48Z) - Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL
through Workflow Paradigm [19.696405897131587]
大規模言語モデル(LLM)の文脈内学習は自然言語処理の分野で大きな成功を収めている。
単一ステップのチェーン・オブ・シントアプローチは、テキストから現実的といった複雑なタスクにおける注意拡散や不適切なパフォーマンスといった課題に直面している。
分解によりLLMの注目度と問題解決範囲を高めることを目的としたワークフローパラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-16T13:24:05Z) - GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。
GRATHは、反復的に真理データを洗練し、モデルを更新する。
GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
論文 参考訳(メタデータ) (2024-01-22T19:00:08Z) - Which Examples to Annotate for In-Context Learning? Towards Effective
and Efficient Selection [35.924633625147365]
大規模言語モデル(LLM)は、文脈内学習(ICL)を介して新しいタスクに適応できる
そこで本研究では,ICLのアクティブな学習手法について検討し,アノテートのための予算が限られている。
本稿では,モデルが不確実であることを示すモデル適応型最適化自由アルゴリズムAdaICLを提案する。
論文 参考訳(メタデータ) (2023-10-30T22:03:55Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。