論文の概要: Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for
Text-to-SQL Parsing
- arxiv url: http://arxiv.org/abs/2301.07507v1
- Date: Wed, 18 Jan 2023 13:29:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 15:49:53.833027
- Title: Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for
Text-to-SQL Parsing
- Title（参考訳）: graphix-t5: テキストからsqlへのパースのための事前学習されたトランスフォーマーとグラフ認識層を混合する
- Authors: Jinyang Li, Binyuan Hui, Reynold Cheng, Bowen Qin, Chenhao Ma, Nan
Huo, Fei Huang, Wenyu Du, Luo Si, Yongbin Li
- Abstract要約: テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。
そこで本研究では,テキスト・トゥ・テキスト・パーシングのための特殊なコンポーネントを備えた事前学習されたテキスト・ツー・テキスト・トランスフォーマー・モデルをさらに強化する方法について検討する。
この目的のために,レイヤを持つグラフ認識モデルによって拡張された新しいアーキテクチャ GRAPHIX-T5 を提案する。
- 参考スコア（独自算出の注目度）: 56.232873134174056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of text-to-SQL parsing, which aims at converting natural language
questions into executable SQL queries, has garnered increasing attention in
recent years, as it can assist end users in efficiently extracting vital
information from databases without the need for technical background. One of
the major challenges in text-to-SQL parsing is domain generalization, i.e., how
to generalize well to unseen databases. Recently, the pre-trained text-to-text
transformer model, namely T5, though not specialized for text-to-SQL parsing,
has achieved state-of-the-art performance on standard benchmarks targeting
domain generalization. In this work, we explore ways to further augment the
pre-trained T5 model with specialized components for text-to-SQL parsing. Such
components are expected to introduce structural inductive bias into text-to-SQL
parsers thus improving model's capacity on (potentially multi-hop) reasoning,
which is critical for generating structure-rich SQLs. To this end, we propose a
new architecture GRAPHIX-T5, a mixed model with the standard pre-trained
transformer model augmented by some specially-designed graph-aware layers.
Extensive experiments and analysis demonstrate the effectiveness of GRAPHIX-T5
across four text-to-SQL benchmarks: SPIDER, SYN, REALISTIC and DK. GRAPHIX-T5
surpass all other T5-based parsers with a significant margin, achieving new
state-of-the-art performance. Notably, GRAPHIX-T5-large reach performance
superior to the original T5-large by 5.7% on exact match (EM) accuracy and 6.6%
on execution accuracy (EX). This even outperforms the T5-3B by 1.2% on EM and
1.5% on EX.
- Abstract（参考訳）: 自然言語の質問を実行可能なsqlクエリに変換することを目的としたtext-to-sql解析のタスクは、技術的なバックグラウンドを必要とせずに、エンドユーザーがデータベースから重要な情報を効率的に抽出できるため、近年注目を集めている。
テキストからSQLへのパースにおける大きな課題の1つはドメインの一般化である。
近年,テキスト・トゥ・テキスト・トランスフォーマー・モデルであるT5は,テキスト・トゥ・SQL解析に特化していないが,ドメインの一般化を目標とした標準ベンチマークで最先端のパフォーマンスを実現している。
本稿では,テキストからsqlへのパースのための特別なコンポーネントを用いて,事前学習されたt5モデルをさらに強化する方法を検討する。
このようなコンポーネントは、構造豊富なSQLを生成する上で重要な(潜在的にマルチホップ)推論におけるモデルの容量を改善するために、構造的帰納バイアスをテキストからSQLパーサに導入することが期待されている。
そこで,我々は,グラフ認識層によって拡張された標準事前学習トランスフォーマモデルを用いた混合モデルであるgraphix-t5を提案する。
大規模な実験と分析により、SPIDER、Syn、REALISTIC、DKの4つのテキスト-SQLベンチマークにおける GraphIX-T5の有効性が示されている。
GraphIX-T5 は他の T5 ベースのパーサーをはるかに上回り、新しい最先端のパフォーマンスを実現している。
特に、 GraphIX-T5-large はオリジナルの T5-large よりもパフォーマンスが5.7%向上し、EM の精度が6.6%向上した。
これによりT5-3BはEMで1.2%、EXで1.5%向上した。
関連論文リスト
- Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。
GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。
本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T17:21:51Z) - SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation [16.07396492960869]
本稿では,テキストからテキストへの変換処理に特化して設計されたトランスフォーマーアーキテクチャを提案する。
我々のモデルは、実行可能層とデコーダ層に構造的帰納バイアスを組み込んで、クエリを自動で抽象構文木(AST)として予測する。
論文 参考訳（メタデータ） (2023-10-27T00:13:59Z) - A Multilingual Translator to SQL with Database Schema Pruning to Improve
Self-Attention [0.0]
最大512個の入力トークンを持つ変換器で長文シーケンスを処理できる技術を提案する。
さらに,データを拡張したスパイダーデータセットを4つの言語で同時に調整したmT5大モデルを用いて多言語アプローチを行った。
論文 参考訳（メタデータ） (2023-06-25T14:28:12Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳（メタデータ） (2023-05-25T17:19:52Z) - Conversational Text-to-SQL: An Odyssey into State-of-the-Art and
Challenges Ahead [6.966624873109535]
State-of-the-art (SOTA) システムは、T5ファミリーのような大規模で訓練済み、微調整された言語モデルを使用する。
トレーニング中に個別のプロンプトを持つコヒーレントなタスクに対するマルチタスク(MT)により、特殊なテキストから3つのモデルよりも改善する。
我々は、領域と構成の一般化に起因する誤りを分解する研究を行う。
論文 参考訳（メタデータ） (2023-02-21T23:15:33Z) - Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。
このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
論文 参考訳（メタデータ） (2022-10-23T09:21:27Z) - Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
我々は最近提案されたQDMR(QDMR)という意味表現を活用している。
質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。
本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
論文 参考訳（メタデータ） (2021-12-12T20:02:42Z) - Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic
Parsing [110.97778888305506]
BRIDGEは、フィールドのサブセットが質問に言及されたセル値で拡張されるタグ付きシーケンスの質問とDBスキーマを表します。
BRIDGEは、人気のクロスDBテキスト-リレーショナルベンチマークで最先端のパフォーマンスを達成しました。
本分析は,BRIDGEが望まれる相互依存を効果的に捕捉し,さらにテキストDB関連タスクに一般化する可能性を示唆している。
論文 参考訳（メタデータ） (2020-12-23T12:33:52Z) - mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。
101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
論文 参考訳（メタデータ） (2020-10-22T17:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。