論文の概要: A Multilingual Translator to SQL with Database Schema Pruning to Improve Self-Attention

• arxiv url: http://arxiv.org/abs/2306.14256v1
• Date: Sun, 25 Jun 2023 14:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 16:04:37.771525
• Title: A Multilingual Translator to SQL with Database Schema Pruning to Improve Self-Attention
• Title（参考訳）: データベーススキーマプルーニングによるSQLへの多言語翻訳による自己認識の改善
• Authors: Marcelo Archanjo Jose and Fabio Gagliardi Cozman
• Abstract要約: 最大512個の入力トークンを持つ変換器で長文シーケンスを処理できる技術を提案する。 さらに,データを拡張したスパイダーデータセットを4つの言語で同時に調整したmT5大モデルを用いて多言語アプローチを行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long sequences of text are challenging in the context of transformers, due to quadratic memory increase in the self-attention mechanism. As this issue directly affects the translation from natural language to SQL queries (as techniques usually take as input a concatenated text with the question and the database schema), we present techniques that allow long text sequences to be handled by transformers with up to 512 input tokens. We propose a training process with database schema pruning (removal of tables and columns names that are useless for the query of interest). In addition, we used a multilingual approach with the mT5-large model fine-tuned with a data-augmented Spider dataset in four languages simultaneously: English, Portuguese, Spanish, and French. Our proposed technique used the Spider dataset and increased the exact set match accuracy results from 0.718 to 0.736 in a validation dataset (Dev). Source code, evaluations, and checkpoints are available at: \underline{https://github.com/C4AI/gap-text2sql}.
• Abstract（参考訳）: テキストの長いシーケンスは、自己保持機構の二次記憶の増加により、トランスフォーマーの文脈では困難である。 この問題は自然言語からsqlクエリへの変換に直接影響するため(通常、質問とデータベーススキーマで連結されたテキストを入力として使用する技術)、長いテキストシーケンスを最大512個の入力トークンを持つトランスフォーマによって処理できる技術を提案する。 データベーススキーマのプルーニング(クエリに役に立たないテーブルと列名の削除)を伴うトレーニングプロセスを提案する。 さらに,mT5-largeモデルを用いて,データ拡張スパイダーデータセットを4つの言語(英語,ポルトガル語,スペイン語,フランス語)で同時に調整した。 提案手法では,spiderデータセットを用いて,検証データセット (dev) の精度を0.718から0.736に向上させた。 ソースコード、評価、チェックポイントは: \underline{https://github.com/C4AI/gap-text2sql}.comで入手できる。

関連論文リスト

• SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation [16.07396492960869]
  本稿では,テキストからテキストへの変換処理に特化して設計されたトランスフォーマーアーキテクチャを提案する。 我々のモデルは、実行可能層とデコーダ層に構造的帰納バイアスを組み込んで、クエリを自動で抽象構文木(AST)として予測する。
  論文  参考訳（メタデータ） (2023-10-27T00:13:59Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• SPSQL: Step-by-step Parsing Based Framework for Text-to-SQL Generation [13.196264569882777]
  現在の主流のエンド・ツー・エンドのText2モデルは、複雑な構造とトレーニングデータに対する高い要求のために構築が困難であるだけでなく、大量のパラメータのために調整も困難である。 本稿では,所望の結果を得るために,SP実験というパイプライン手法を提案する。 我々は,中国のステートグリッドコーポレーションのマーケティングビジネスデータに基づくデータセットを構築した。
  論文  参考訳（メタデータ） (2023-05-10T10:01:36Z)
• Conversational Text-to-SQL: An Odyssey into State-of-the-Art and Challenges Ahead [6.966624873109535]
  State-of-the-art (SOTA) システムは、T5ファミリーのような大規模で訓練済み、微調整された言語モデルを使用する。 トレーニング中に個別のプロンプトを持つコヒーレントなタスクに対するマルチタスク(MT)により、特殊なテキストから3つのモデルよりも改善する。 我々は、領域と構成の一般化に起因する誤りを分解する研究を行う。
  論文  参考訳（メタデータ） (2023-02-21T23:15:33Z)
• Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing [56.232873134174056]
  テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。 そこで本研究では,テキスト・トゥ・テキスト・パーシングのための特殊なコンポーネントを備えた事前学習されたテキスト・ツー・テキスト・トランスフォーマー・モデルをさらに強化する方法について検討する。 この目的のために,レイヤを持つグラフ認識モデルによって拡張された新しいアーキテクチャ GRAPHIX-T5 を提案する。
  論文  参考訳（メタデータ） (2023-01-18T13:29:05Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• mRAT-SQL+GAP:A Portuguese Text-to-SQL Transformer [0.0]
  多くの技術が英語に向けられている。 本研究では,入力質問が英語とは異なる言語で与えられた場合の翻訳 tosql について検討した。 我々は多言語BARTモデルを用いてRAT-+GAPシステムを変更した。
  論文  参考訳（メタデータ） (2021-10-07T15:08:24Z)
• Data Augmentation with Hierarchical SQL-to-Question Generation for Cross-domain Text-to-SQL Parsing [40.65143087243074]
  本稿では,単純なデータ拡張フレームワークを提案する。 まず、データベースを与えられたら、抽象構文木文法citeyintranxに基づいて大量のsqlクエリを自動的に生成します。 第2に,高品質自然言語問題を得るための階層的sql-to-question生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-03T07:37:38Z)
• Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing [110.97778888305506]
  BRIDGEは、フィールドのサブセットが質問に言及されたセル値で拡張されるタグ付きシーケンスの質問とDBスキーマを表します。 BRIDGEは、人気のクロスDBテキスト-リレーショナルベンチマークで最先端のパフォーマンスを達成しました。 本分析は,BRIDGEが望まれる相互依存を効果的に捕捉し,さらにテキストDB関連タスクに一般化する可能性を示唆している。
  論文  参考訳（メタデータ） (2020-12-23T12:33:52Z)
• Structure-Grounded Pretraining for Text-to-SQL [75.19554243393814]
  本稿では,テキストからLARGEへの構造化事前学習フレームワーク(G)について述べる。 カラムグラウンド、バリューグラウンド、カラム値マッピングといった新しい予測タスクのセットを特定し、それらをテキストテーブルエンコーダの事前訓練に活用する。
  論文  参考訳（メタデータ） (2020-10-24T04:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。