論文の概要: Towards Robustness of Text-to-SQL Models Against Natural and Realistic Adversarial Table Perturbation

• arxiv url: http://arxiv.org/abs/2212.09994v1
• Date: Tue, 20 Dec 2022 04:38:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:13:00.672118
• Title: Towards Robustness of Text-to-SQL Models Against Natural and Realistic Adversarial Table Perturbation
• Title（参考訳）: 自然および現実的なテーブル摂動に対するテキスト-SQLモデルのロバスト性に向けて
• Authors: Xinyu Pi, Bing Wang, Yan Gao, Jiaqi Guo, Zhoujun Li, Jian-Guang Lou
• Abstract要約: 本稿では,テキスト・テキスト・モデルのロバスト性を測定するための新たな攻撃パラダイムとして,ATP(Adversarial Table Perturbation)を導入する。 我々は、データの文脈化を改善するために、体系的な逆トレーニング例生成フレームワークを構築した。 実験により,本手法はテーブル側摂動に対する最良の改善をもたらすだけでなく,NL側摂動に対するモデルを大幅に強化することを示した。
• 参考スコア（独自算出の注目度）: 38.00832631674398
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The robustness of Text-to-SQL parsers against adversarial perturbations plays a crucial role in delivering highly reliable applications. Previous studies along this line primarily focused on perturbations in the natural language question side, neglecting the variability of tables. Motivated by this, we propose the Adversarial Table Perturbation (ATP) as a new attacking paradigm to measure the robustness of Text-to-SQL models. Following this proposition, we curate ADVETA, the first robustness evaluation benchmark featuring natural and realistic ATPs. All tested state-of-the-art models experience dramatic performance drops on ADVETA, revealing models' vulnerability in real-world practices. To defend against ATP, we build a systematic adversarial training example generation framework tailored for better contextualization of tabular data. Experiments show that our approach not only brings the best robustness improvement against table-side perturbations but also substantially empowers models against NL-side perturbations. We release our benchmark and code at: https://github.com/microsoft/ContextualSP.
• Abstract（参考訳）: 敵対的摂動に対するText-to-SQLパーサの堅牢性は、信頼性の高いアプリケーションを提供する上で重要な役割を果たす。 この線に沿った以前の研究は、主に自然言語問題側の摂動に焦点を当て、表の変動性を無視した。 そこで本研究では,テキスト対sqlモデルのロバスト性を評価するための新しい攻撃パラダイムとして,adversarial table perturbation (atp)を提案する。 この提案に続いて、自然かつ現実的なATPを特徴とする最初の堅牢性評価ベンチマークであるADVETAをキュレートする。 テストされたすべての最先端モデルはADVETAで劇的なパフォーマンス低下を経験し、実際のプラクティスにおけるモデルの脆弱性を明らかにする。 ATPに対する防御のために,表データの文脈化を改善するために,系統的な逆トレーニング例生成フレームワークを構築した。 実験により,本手法はテーブル側摂動に対する最良の堅牢性向上をもたらすだけでなく,NL側摂動に対するモデルを大幅に強化することを示した。 ベンチマークとコードはhttps://github.com/microsoft/contextualsp.com/でリリースします。

関連論文リスト

• Adversarial Attacks on Tables with Entity Swap [22.32213001202441]
  テキストに対する敵対的攻撃は、大規模言語モデル(LLM)の性能に大きな影響を与えることが示されている。 本稿では,コラム型アノテーション(CTA)タスクに対する回避型エンティティスワップ攻撃を提案する。 我々のCTA攻撃はテーブルに対する最初のブラックボックス攻撃であり、類似性に基づくサンプリング戦略を用いて敵の例を生成する。
  論文  参考訳（メタデータ） (2023-09-15T15:03:33Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness [115.66421993459663]
  近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。 モデル診断のための包括的ロバスト性ベンチマークを提案する。 我々は、そのセット上の最先端モデルの診断研究を行う。
  論文  参考訳（メタデータ） (2023-01-21T03:57:18Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Towards Robustness of Text-to-SQL Models against Synonym Substitution [15.047104267689052]
  我々は、テキストから世界への質問翻訳のためのSpiderベンチマークに基づくデータセットであるSpider-Synを紹介する。 我々は,NL質問とテーブルスキーマとの明示的な対応を排除し,精度を劇的に低下させることを観察した。 モデルロバスト性を改善するためのアプローチのカテゴリを2つ提示する。
  論文  参考訳（メタデータ） (2021-06-02T10:36:23Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。