論文の概要: SeaD: End-to-end Text-to-SQL Generation with Schema-aware Denoising
- arxiv url: http://arxiv.org/abs/2105.07911v1
- Date: Mon, 17 May 2021 14:49:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 15:09:04.781406
- Title: SeaD: End-to-end Text-to-SQL Generation with Schema-aware Denoising
- Title（参考訳）: SeaD: スキーマ認識によるエンドツーエンドのテキストからSQL生成
- Authors: Kuan Xuan, Yongbo Wang, Yongliang Wang, Zujie Wen, Yang Dong
- Abstract要約: text-to-seqタスクでは、seq-to-seqモデルはしばしばアーキテクチャの制限のためにサブ最適化のパフォーマンスをもたらす。
トランスベースのseq-to-seqモデルを堅牢なテキスト-to-ジェネレーションに適応させるシンプルで効果的なアプローチを提案する。
- 参考スコア（独自算出の注目度）: 7.127280935638075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In text-to-SQL task, seq-to-seq models often lead to sub-optimal performance
due to limitations in their architecture. In this paper, we present a simple
yet effective approach that adapts transformer-based seq-to-seq model to robust
text-to-SQL generation. Instead of inducing constraint to decoder or reformat
the task as slot-filling, we propose to train seq-to-seq model with Schema
aware Denoising (SeaD), which consists of two denoising objectives that train
model to either recover input or predict output from two novel erosion and
shuffle noises. These denoising objectives acts as the auxiliary tasks for
better modeling the structural data in S2S generation. In addition, we improve
and propose a clause-sensitive execution guided (EG) decoding strategy to
overcome the limitation of EG decoding for generative model. The experiments
show that the proposed method improves the performance of seq-to-seq model in
both schema linking and grammar correctness and establishes new
state-of-the-art on WikiSQL benchmark. The results indicate that the capacity
of vanilla seq-to-seq architecture for text-to-SQL may have been
under-estimated.
- Abstract（参考訳）: テキストからSQLへのタスクでは、Seq-to-seqモデルはアーキテクチャに制限があるため、しばしば準最適パフォーマンスをもたらす。
本稿では,トランスフォーマティブベースのseq-to-seqモデルを頑健なテキスト-sql生成に適用する,単純かつ効果的な手法を提案する。
そこで本研究では,デコーダをスロットフィリング(スロットフィリング)として,タスクの制約を誘導する代わりに,2つの新しいエロージョンとシャッフルノイズから出力を回復または予測する2つの聴覚的目標からなるセマアウェアメント・デノイング(SeaD)を用いてセック・ツー・セクックモデルを訓練することを提案する。
これらの認知目的は、S2S生成における構造データのモデリングを改善する補助的なタスクとして機能する。
さらに,生成モデルにおけるEG復号化の限界を克服するために,EG復号化手法の改良と提案を行う。
提案手法は,スキーマリンクと文法の正確性の両方においてseq-to-seqモデルの性能を向上し,wikisqlベンチマークで新たな最先端を確立できることを示す。
その結果,テキスト対sqlのvailla seq-to-seqアーキテクチャの容量は過小評価された可能性がある。
関連論文リスト
- Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。
近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。
コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
論文 参考訳（メタデータ） (2024-10-27T03:18:52Z) - Meta-DiffuB: A Contextualized Sequence-to-Sequence Text Diffusion Model with Meta-Exploration [53.63593099509471]
本稿では,既存のS2S-拡散モデルの限界を克服するために,スケジューラ・エクスロイタS2S-拡散パラダイムを提案する。
我々はメタ探索を用いて、各文の文脈化ノイズをスケジューリングするための追加スケジューラモデルを訓練する。
我々のエクスプローラーモデルであるS2S-拡散モデルでは、スケジューラモデルによってスケジュールされたノイズを利用して更新と生成を行う。
論文 参考訳（メタデータ） (2024-10-17T04:06:02Z) - COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。
我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。
当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文 参考訳（メタデータ） (2024-10-12T23:56:19Z) - T5-SR: A Unified Seq-to-Seq Decoding Strategy for Semantic Parsing [8.363108209152111]
seq2seqセマンティクスは、スキーマ情報予測の質の低下など、より多くの課題に直面します。
本稿では、新たな中間表現 S とスコア再推定器を用いた復位法を含む、SR と呼ばれるSeq2seq 指向のデコード戦略を提案する。
論文 参考訳（メタデータ） (2023-06-14T08:57:13Z) - Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。
本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文 参考訳（メタデータ） (2022-11-15T05:22:40Z) - Text Generation with Text-Editing Models [78.03750739936956]
このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。
生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
論文 参考訳（メタデータ） (2022-06-14T17:58:17Z) - Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。
制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
論文 参考訳（メタデータ） (2022-05-27T20:17:53Z) - Tiny Neural Models for Seq2Seq [0.0]
pQRNN-MAttと呼ばれるプロジェクションベースエンコーダデコーダモデルを提案する。
その結果得られた量子化モデルのサイズは3.5MB未満であり、デバイス上のレイテンシクリティカルなアプリケーションに適している。
本稿では,多言語意味解析データセットであるMTOPにおいて,平均モデル性能が,85倍の精度で事前学習した埋め込みを用いたLSTMベースのSeq2seqモデルを上回ることを示す。
論文 参考訳（メタデータ） (2021-08-07T00:39:42Z) - MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models
with Metamorphic Testing [11.566463879334862]
MT-Teqlは,テキスト保存モデルの一貫性を評価し,拡張するメタモルフィックテストベースのフレームワークである。
我々のフレームワークは、SOTAモデルから数千の予測エラーを公開し、既存のデータセットを桁違いに拡張し、標準精度を損なうことなく40%以上の矛盾エラーを除去する。
論文 参考訳（メタデータ） (2020-12-21T07:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。