論文の概要: MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing

• arxiv url: http://arxiv.org/abs/2012.11163v1
• Date: Mon, 21 Dec 2020 07:43:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:28:33.402479
• Title: MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing
• Title（参考訳）: MT-Teql:メタモルフィックテストによるテキスト-SQLモデルの一貫性の評価と拡張
• Authors: Pingchuan Ma and Shuai Wang
• Abstract要約: MT-Teqlは,テキスト保存モデルの一貫性を評価し,拡張するメタモルフィックテストベースのフレームワークである。 我々のフレームワークは、SOTAモデルから数千の予測エラーを公開し、既存のデータセットを桁違いに拡張し、標準精度を損なうことなく40%以上の矛盾エラーを除去する。
• 参考スコア（独自算出の注目度）: 11.566463879334862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-SQL is a task to generate SQL queries from human utterances. However, due to the variation of natural language, two semantically equivalent utterances may appear differently in the lexical level. Likewise, user preferences (e.g., the choice of normal forms) can lead to dramatic changes in table structures when expressing conceptually identical schemas. Envisioning the general difficulty for text-to-SQL models to preserve prediction consistency against linguistic and schema variations, we propose MT-Teql, a Metamorphic Testing-based framework for systematically evaluating and augmenting the consistency of TExt-to-SQL models. Inspired by the principles of software metamorphic testing, MT-Teql delivers a model-agnostic framework which implements a comprehensive set of metamorphic relations (MRs) to conduct semantics-preserving transformations toward utterances and schemas. Model Inconsistency can be exposed when the original and transformed inputs induce different SQL queries. In addition, we leverage the transformed inputs to retrain models for further model robustness boost. Our experiments show that our framework exposes thousands of prediction errors from SOTA models and enriches existing datasets by order of magnitude, eliminating over 40% inconsistency errors without compromising standard accuracy.
• Abstract（参考訳）: Text-to-SQLは、人間の発話からSQLクエリを生成するタスクである。 しかし、自然言語の変化により、2つの意味的に等価な発話が語彙レベルで異なる形で現れることがある。 同様に、ユーザー好み(例えば正規形式の選択)は、概念的に同一のスキーマを表現する際にテーブル構造を劇的に変化させる可能性がある。 本稿では,テキストからsqlへのモデルの一貫性を体系的に評価・強化するためのメタモルフィックテストベースのフレームワークであるmt-teqlを提案する。 MT-Teqlは、ソフトウェアメタモルフィックテストの原則に触発されて、メタモルフィック関係(MR)の包括的なセットを実装し、発話やスキーマに対するセマンティックス保存変換を実行する、モデルに依存しないフレームワークを提供する。 モデルの不整合は、オリジナルの入力と変換された入力が異なるsqlクエリを誘発するときに露呈できる。 さらに,モデルのロバスト性向上のために,変換入力をモデルの再トレーニングに活用する。 実験の結果,我々のフレームワークはSOTAモデルから数千の予測誤差を公開し,既存のデータセットを桁違いに拡張し,標準精度を損なうことなく40%以上の不整合誤差を排除していることがわかった。

関連論文リスト

• Exploring the Compositional Generalization in Context Dependent Text-to-SQL Parsing [14.644212594593919]
  この研究は、文脈に依存したテクスト・トゥ・ザ・セサリオにおける作曲の一般化に関する最初の調査である。 実験によると、現在のモデルはすべて、提案されたベンチマークで苦労している。 テキスト・トゥ・ザ・セナリオの合成一般化を改善するために,textttp-align という手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T12:36:56Z)
• Conversational Text-to-SQL: An Odyssey into State-of-the-Art and Challenges Ahead [6.966624873109535]
  State-of-the-art (SOTA) システムは、T5ファミリーのような大規模で訓練済み、微調整された言語モデルを使用する。 トレーニング中に個別のプロンプトを持つコヒーレントなタスクに対するマルチタスク(MT)により、特殊なテキストから3つのモデルよりも改善する。 我々は、領域と構成の一般化に起因する誤りを分解する研究を行う。
  論文  参考訳（メタデータ） (2023-02-21T23:15:33Z)
• Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness [115.66421993459663]
  近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。 モデル診断のための包括的ロバスト性ベンチマークを提案する。 我々は、そのセット上の最先端モデルの診断研究を行う。
  論文  参考訳（メタデータ） (2023-01-21T03:57:18Z)
• Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
  トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。 我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
  論文  参考訳（メタデータ） (2022-09-28T21:00:30Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Towards Robustness of Text-to-SQL Models against Synonym Substitution [15.047104267689052]
  我々は、テキストから世界への質問翻訳のためのSpiderベンチマークに基づくデータセットであるSpider-Synを紹介する。 我々は,NL質問とテーブルスキーマとの明示的な対応を排除し,精度を劇的に低下させることを観察した。 モデルロバスト性を改善するためのアプローチのカテゴリを2つ提示する。
  論文  参考訳（メタデータ） (2021-06-02T10:36:23Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
  我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。 モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。 実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-21T17:39:15Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。