論文の概要: SeaD: End-to-end Text-to-SQL Generation with Schema-aware Denoising
- arxiv url: http://arxiv.org/abs/2105.07911v1
- Date: Mon, 17 May 2021 14:49:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 15:09:04.781406
- Title: SeaD: End-to-end Text-to-SQL Generation with Schema-aware Denoising
- Title(参考訳): SeaD: スキーマ認識によるエンドツーエンドのテキストからSQL生成
- Authors: Kuan Xuan, Yongbo Wang, Yongliang Wang, Zujie Wen, Yang Dong
- Abstract要約: text-to-seqタスクでは、seq-to-seqモデルはしばしばアーキテクチャの制限のためにサブ最適化のパフォーマンスをもたらす。
トランスベースのseq-to-seqモデルを堅牢なテキスト-to-ジェネレーションに適応させるシンプルで効果的なアプローチを提案する。
- 参考スコア(独自算出の注目度): 7.127280935638075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In text-to-SQL task, seq-to-seq models often lead to sub-optimal performance
due to limitations in their architecture. In this paper, we present a simple
yet effective approach that adapts transformer-based seq-to-seq model to robust
text-to-SQL generation. Instead of inducing constraint to decoder or reformat
the task as slot-filling, we propose to train seq-to-seq model with Schema
aware Denoising (SeaD), which consists of two denoising objectives that train
model to either recover input or predict output from two novel erosion and
shuffle noises. These denoising objectives acts as the auxiliary tasks for
better modeling the structural data in S2S generation. In addition, we improve
and propose a clause-sensitive execution guided (EG) decoding strategy to
overcome the limitation of EG decoding for generative model. The experiments
show that the proposed method improves the performance of seq-to-seq model in
both schema linking and grammar correctness and establishes new
state-of-the-art on WikiSQL benchmark. The results indicate that the capacity
of vanilla seq-to-seq architecture for text-to-SQL may have been
under-estimated.
- Abstract(参考訳): テキストからSQLへのタスクでは、Seq-to-seqモデルはアーキテクチャに制限があるため、しばしば準最適パフォーマンスをもたらす。
本稿では,トランスフォーマティブベースのseq-to-seqモデルを頑健なテキスト-sql生成に適用する,単純かつ効果的な手法を提案する。
そこで本研究では,デコーダをスロットフィリング(スロットフィリング)として,タスクの制約を誘導する代わりに,2つの新しいエロージョンとシャッフルノイズから出力を回復または予測する2つの聴覚的目標からなるセマアウェアメント・デノイング(SeaD)を用いてセック・ツー・セクックモデルを訓練することを提案する。
これらの認知目的は、S2S生成における構造データのモデリングを改善する補助的なタスクとして機能する。
さらに,生成モデルにおけるEG復号化の限界を克服するために,EG復号化手法の改良と提案を行う。
提案手法は,スキーマリンクと文法の正確性の両方においてseq-to-seqモデルの性能を向上し,wikisqlベンチマークで新たな最先端を確立できることを示す。
その結果,テキスト対sqlのvailla seq-to-seqアーキテクチャの容量は過小評価された可能性がある。
関連論文リスト
- T5-SR: A Unified Seq-to-Seq Decoding Strategy for Semantic Parsing [8.363108209152111]
seq2seqセマンティクスは、スキーマ情報予測の質の低下など、より多くの課題に直面します。
本稿では、新たな中間表現 S とスコア再推定器を用いた復位法を含む、SR と呼ばれるSeq2seq 指向のデコード戦略を提案する。
論文 参考訳(メタデータ) (2023-06-14T08:57:13Z) - Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。
我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。
実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
論文 参考訳(メタデータ) (2023-06-09T06:02:01Z) - Speculative Decoding with Big Little Decoder [108.95187338417541]
Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。
NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。
私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
論文 参考訳(メタデータ) (2023-02-15T18:55:29Z) - Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。
本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文 参考訳(メタデータ) (2022-11-15T05:22:40Z) - Text Generation with Text-Editing Models [78.03750739936956]
このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。
生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
論文 参考訳(メタデータ) (2022-06-14T17:58:17Z) - Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。
制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
論文 参考訳(メタデータ) (2022-05-27T20:17:53Z) - Tiny Neural Models for Seq2Seq [0.0]
pQRNN-MAttと呼ばれるプロジェクションベースエンコーダデコーダモデルを提案する。
その結果得られた量子化モデルのサイズは3.5MB未満であり、デバイス上のレイテンシクリティカルなアプリケーションに適している。
本稿では,多言語意味解析データセットであるMTOPにおいて,平均モデル性能が,85倍の精度で事前学習した埋め込みを用いたLSTMベースのSeq2seqモデルを上回ることを示す。
論文 参考訳(メタデータ) (2021-08-07T00:39:42Z) - MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models
with Metamorphic Testing [11.566463879334862]
MT-Teqlは,テキスト保存モデルの一貫性を評価し,拡張するメタモルフィックテストベースのフレームワークである。
我々のフレームワークは、SOTAモデルから数千の予測エラーを公開し、既存のデータセットを桁違いに拡張し、標準精度を損なうことなく40%以上の矛盾エラーを除去する。
論文 参考訳(メタデータ) (2020-12-21T07:43:31Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳(メタデータ) (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。