論文の概要: MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing

• arxiv url: http://arxiv.org/abs/2012.11163v1
• Date: Mon, 21 Dec 2020 07:43:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:28:33.402479
• Title: MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing
• Title（参考訳）: MT-Teql:メタモルフィックテストによるテキスト-SQLモデルの一貫性の評価と拡張
• Authors: Pingchuan Ma and Shuai Wang
• Abstract要約: MT-Teqlは,テキスト保存モデルの一貫性を評価し,拡張するメタモルフィックテストベースのフレームワークである。 我々のフレームワークは、SOTAモデルから数千の予測エラーを公開し、既存のデータセットを桁違いに拡張し、標準精度を損なうことなく40%以上の矛盾エラーを除去する。
• 参考スコア（独自算出の注目度）: 11.566463879334862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-SQL is a task to generate SQL queries from human utterances. However, due to the variation of natural language, two semantically equivalent utterances may appear differently in the lexical level. Likewise, user preferences (e.g., the choice of normal forms) can lead to dramatic changes in table structures when expressing conceptually identical schemas. Envisioning the general difficulty for text-to-SQL models to preserve prediction consistency against linguistic and schema variations, we propose MT-Teql, a Metamorphic Testing-based framework for systematically evaluating and augmenting the consistency of TExt-to-SQL models. Inspired by the principles of software metamorphic testing, MT-Teql delivers a model-agnostic framework which implements a comprehensive set of metamorphic relations (MRs) to conduct semantics-preserving transformations toward utterances and schemas. Model Inconsistency can be exposed when the original and transformed inputs induce different SQL queries. In addition, we leverage the transformed inputs to retrain models for further model robustness boost. Our experiments show that our framework exposes thousands of prediction errors from SOTA models and enriches existing datasets by order of magnitude, eliminating over 40% inconsistency errors without compromising standard accuracy.
• Abstract（参考訳）: Text-to-SQLは、人間の発話からSQLクエリを生成するタスクである。 しかし、自然言語の変化により、2つの意味的に等価な発話が語彙レベルで異なる形で現れることがある。 同様に、ユーザー好み(例えば正規形式の選択)は、概念的に同一のスキーマを表現する際にテーブル構造を劇的に変化させる可能性がある。 本稿では,テキストからsqlへのモデルの一貫性を体系的に評価・強化するためのメタモルフィックテストベースのフレームワークであるmt-teqlを提案する。 MT-Teqlは、ソフトウェアメタモルフィックテストの原則に触発されて、メタモルフィック関係(MR)の包括的なセットを実装し、発話やスキーマに対するセマンティックス保存変換を実行する、モデルに依存しないフレームワークを提供する。 モデルの不整合は、オリジナルの入力と変換された入力が異なるsqlクエリを誘発するときに露呈できる。 さらに,モデルのロバスト性向上のために,変換入力をモデルの再トレーニングに活用する。 実験の結果,我々のフレームワークはSOTAモデルから数千の予測誤差を公開し,既存のデータセットを桁違いに拡張し,標準精度を損なうことなく40%以上の不整合誤差を排除していることがわかった。

関連論文リスト

• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)
• Text Generation with Text-Editing Models [78.03750739936956]
  このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。 生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
  論文  参考訳（メタデータ） (2022-06-14T17:58:17Z)
• RASAT: Integrating Relational Structures into Pretrained Seq2Seq Model for Text-to-SQL [37.173390754207766]
  本稿では,リレーショナルアウェア・セルフアテンションを付加したTransformer seq2seqアーキテクチャを提案する。 我々のモデルは、文献にはほとんど全ての種類の既存の関係を組み込むことができる。
  論文  参考訳（メタデータ） (2022-05-14T06:27:40Z)
• Structural Guidance for Transformer Language Models [24.00537240110055]
  本研究では,トランスフォーマー言語モデルにおける構造的ガイダンスが,より人間らしい体系的言語一般化につながるかどうかを考察する。 実験結果から、生成的構造的監督がより堅牢で人間らしい言語的一般化を誘導できるという確固たる証拠が示唆された。
  論文  参考訳（メタデータ） (2021-07-30T23:14:51Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Towards Robustness of Text-to-SQL Models against Synonym Substitution [15.047104267689052]
  我々は、テキストから世界への質問翻訳のためのSpiderベンチマークに基づくデータセットであるSpider-Synを紹介する。 我々は,NL質問とテーブルスキーマとの明示的な対応を排除し,精度を劇的に低下させることを観察した。 モデルロバスト性を改善するためのアプローチのカテゴリを2つ提示する。
  論文  参考訳（メタデータ） (2021-06-02T10:36:23Z)
• SeaD: End-to-end Text-to-SQL Generation with Schema-aware Denoising [7.127280935638075]
  text-to-seqタスクでは、seq-to-seqモデルはしばしばアーキテクチャの制限のためにサブ最適化のパフォーマンスをもたらす。 トランスベースのseq-to-seqモデルを堅牢なテキスト-to-ジェネレーションに適応させるシンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-17T14:49:54Z)
• Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
  本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
  論文  参考訳（メタデータ） (2021-04-12T21:24:02Z)
• Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
  ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。 本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。 提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-01-05T18:11:29Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。