論文の概要: SQL-Encoder: Improving NL2SQL In-Context Learning Through a Context-Aware Encoder
- arxiv url: http://arxiv.org/abs/2403.16204v1
- Date: Sun, 24 Mar 2024 15:57:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:06:13.237170
- Title: SQL-Encoder: Improving NL2SQL In-Context Learning Through a Context-Aware Encoder
- Title（参考訳）: SQL-Encoder: コンテキスト認識エンコーダによるNL2SQLインコンテキスト学習の改善
- Authors: Mohammadreza Pourreza, Davood Rafiei, Yuxi Feng, Raymond Li, Zhenan Fan, Weiwei Zhang,
- Abstract要約: 本稿では,この類似度測定の意義を考察し,正確に推定するモデルを提案する。
我々は、類似度予測モデルを訓練するために、慎重にキュレートされた170kの質問対からなるデータセットを活用する。
我々のモデルは、Kendall-Tau 距離と精度@k 測定値の改善によって証明されたように、質問間の構造的類似性を十分に捉えている。
- 参考スコア（独自算出の注目度）: 9.396699456746246
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Detecting structural similarity between queries is essential for selecting examples in in-context learning models. However, assessing structural similarity based solely on the natural language expressions of queries, without considering SQL queries, presents a significant challenge. This paper explores the significance of this similarity metric and proposes a model for accurately estimating it. To achieve this, we leverage a dataset comprising 170k question pairs, meticulously curated to train a similarity prediction model. Our comprehensive evaluation demonstrates that the proposed model adeptly captures the structural similarity between questions, as evidenced by improvements in Kendall-Tau distance and precision@k metrics. Notably, our model outperforms strong competitive embedding models from OpenAI and Cohere. Furthermore, compared to these competitive models, our proposed encoder enhances the downstream performance of NL2SQL models in 1-shot in-context learning scenarios by 1-2\% for GPT-3.5-turbo, 4-8\% for CodeLlama-7B, and 2-3\% for CodeLlama-13B.
- Abstract（参考訳）: クエリ間の構造的類似性の検出は、コンテキスト内学習モデルにおける例の選択に不可欠である。
しかし、SQLクエリを考慮せずに、クエリの自然言語表現のみに基づく構造的類似性を評価することは、重大な課題である。
本稿では,この類似度測定の意義を考察し,正確に推定するモデルを提案する。
そこで我々は170の質問対からなるデータセットを活用して,類似度予測モデルのトレーニングを行う。
包括的評価により,提案モデルでは,Kendall-Tau 距離と精度@k 測定値の改善により,質問間の構造的類似性を十分に捉えることができた。
特に、私たちのモデルは、OpenAIとCohereの強力な競争力のある埋め込みモデルよりも優れています。
さらに,これらの競合モデルと比較して,提案するエンコーダは,GPT-3.5-turboでは1-2\%,CodeLlama-7Bでは4-8\%,CodeLlama-13Bでは2-3\%の1ショットインコンテキスト学習シナリオにおいて,NL2SQLモデルのダウンストリーム性能を向上させる。
関連論文リスト
- Controllable Context Sensitivity and the Knob Behind It [53.70327066130381]
予測を行う場合、言語モデルは、そのコンテキストとそれ以前の知識にどれだけ依存しているかをトレードオフする必要があります。
我々は,この感性を制御するノブを探索し,言語モデルが文脈から応答するか,それ以前の知識から応答するかを判断する。
論文 参考訳（メタデータ） (2024-11-11T22:22:21Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - LLM2KB: Constructing Knowledge Bases using instruction tuned context
aware Large Language Models [0.8702432681310401]
本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。
ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
論文 参考訳（メタデータ） (2023-08-25T07:04:16Z) - Proton: Probing Schema Linking Information from Pre-trained Language
Models for Text-to-SQL Parsing [66.55478402233399]
本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。
スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。
我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
論文 参考訳（メタデータ） (2022-06-28T14:05:25Z) - RASAT: Integrating Relational Structures into Pretrained Seq2Seq Model
for Text-to-SQL [37.173390754207766]
本稿では,リレーショナルアウェア・セルフアテンションを付加したTransformer seq2seqアーキテクチャを提案する。
我々のモデルは、文献にはほとんど全ての種類の既存の関係を組み込むことができる。
論文 参考訳（メタデータ） (2022-05-14T06:27:40Z) - Knowledge Base Question Answering by Case-based Reasoning over Subgraphs [81.22050011503933]
本モデルでは,既存のKG補完アルゴリズムよりも複雑な推論パターンを必要とする問合せに対して,より効果的に答えることを示す。
提案モデルは、KBQAベンチマークの最先端モデルよりも優れているか、競合的に動作する。
論文 参考訳（メタデータ） (2022-02-22T01:34:35Z) - Turning Tables: Generating Examples from Semi-structured Tables for
Endowing Language Models with Reasoning Skills [32.55545292360155]
本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。
16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。
我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2021-07-15T11:37:14Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳（メタデータ） (2020-12-18T15:53:50Z) - Clustering-based Unsupervised Generative Relation Extraction [3.342376225738321]
クラスタリングに基づく教師なし生成関係抽出フレームワーク(CURE)を提案する。
我々は「エンコーダ・デコーダ」アーキテクチャを用いて自己教師付き学習を行い、エンコーダが関係情報を抽出できるようにする。
我々のモデルは、ニューヨーク・タイムズ(NYT)と国連並列コーパス(UNPC)の標準データセットにおいて、最先端モデルよりも優れている。
論文 参考訳（メタデータ） (2020-09-26T20:36:40Z) - Active Learning++: Incorporating Annotator's Rationale using Local Model
Explanation [84.10721065676913]
アノテーションは、与えられたクエリの重要性に基づいて入力特徴をランク付けすることで、ラベルを選択するための根拠を提供することができる。
すべての委員会モデルを等しく重み付けして次の事例を選択する代わりに、アノテータのランクにより高い一致で委員会モデルにより高い重みを割り当てます。
このアプローチは、LIMEのような局所的な説明を生成するためにモデルに依存しない手法を用いて、任意の種類のMLモデルに適用できる。
論文 参考訳（メタデータ） (2020-09-06T08:07:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。