論文の概要: Generating Semantically Valid Adversarial Questions for TableQA

• arxiv url: http://arxiv.org/abs/2005.12696v3
• Date: Fri, 25 Dec 2020 14:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 00:06:19.781416
• Title: Generating Semantically Valid Adversarial Questions for TableQA
• Title（参考訳）: テーブルQAにおける意味的正反対質問の生成
• Authors: Yi Zhu, Yiwei Zhou and Menglin Xia
• Abstract要約: 本研究では,SAGE(Semantically valid Adversarial GEnerator)を提案する。 本研究の目的は,SIMILEによる最小限のリスクトレーニングとエンティティの非論理化である。 実験の結果、SAGEはセマンティック・アタック・モデルよりもセマンティック・アタック・モデルの方が優れていることがわかった。
• 参考スコア（独自算出の注目度）: 7.368707859507749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial attack on question answering systems over tabular data (TableQA) can help evaluate to what extent they can understand natural language questions and reason with tables. However, generating natural language adversarial questions is difficult, because even a single character swap could lead to huge semantic difference in human perception. In this paper, we propose SAGE (Semantically valid Adversarial GEnerator), a Wasserstein sequence-to-sequence model for TableQA white-box attack. To preserve meaning of original questions, we apply minimum risk training with SIMILE and entity delexicalization. We use Gumbel-Softmax to incorporate adversarial loss for end-to-end training. Our experiments show that SAGE outperforms existing local attack models on semantic validity and fluency while achieving a good attack success rate. Finally, we demonstrate that adversarial training with SAGE augmented data can improve performance and robustness of TableQA systems.
• Abstract（参考訳）: 表データ(tableqa)による質問応答システムに対する敵意攻撃は、自然言語質問や表による推論をどの程度理解できるかを評価するのに役立つ。 しかし、一つの文字スワップであっても人間の知覚に大きな意味的違いをもたらす可能性があるため、自然言語の逆問題を生成することは困難である。 本稿では,テーブルQAホワイトボックス攻撃におけるワッサースタイン列列列モデルであるSAGE(Semantically valid Adversarial GEnerator)を提案する。 元の質問の意味を保つため、シミールとエンティティの語彙化による最小のリスクトレーニングを適用する。 我々はGumbel-Softmaxを用いて、エンドツーエンドのトレーニングに対向的損失を取り入れている。 実験の結果,sageは,既存の局所攻撃モデルよりも有効性とフラレンシにおいて優れており,攻撃成功率も良好であることがわかった。 最後に,sage augmented dataを用いた敵対的トレーニングにより,tableqaシステムの性能とロバスト性が向上することを示す。

関連論文リスト

• Deceiving Question-Answering Models: A Hybrid Word-Level Adversarial Approach [11.817276791266284]
  本稿では,QAモデルを騙す新しい単語レベル対逆戦略であるQA-Attackを紹介する。 我々のアテンションベースの攻撃は、特定の単語を識別・ターゲットするために、カスタマイズされたアテンション機構と削除ランキング戦略を利用する。 同義語を慎重に選択し置換し、文法的整合性を保ちながら、間違った反応を生み出すためにモデルを誤解させる。
  論文  参考訳（メタデータ） (2024-11-12T23:54:58Z)
• HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies [9.09415727445941]
  本稿では,この課題に対する潜在的な解決法として,HiddenTablesと呼ばれる協調ゲームを提案する。 エージェントがテーブルQAタスクを解く能力を評価するコード生成「r」と「Oracleウィンドウ」の間で「HiddenTables」が再生される。 複雑なクエリを一般化および実行できないLCMの集合性を実証する多種多様なテーブルの集合について明らかな実験を行う。
  論文  参考訳（メタデータ） (2024-06-16T04:53:29Z)
• Adversarial Attacks on Tables with Entity Swap [22.32213001202441]
  テキストに対する敵対的攻撃は、大規模言語モデル(LLM)の性能に大きな影響を与えることが示されている。 本稿では,コラム型アノテーション(CTA)タスクに対する回避型エンティティスワップ攻撃を提案する。 我々のCTA攻撃はテーブルに対する最初のブラックボックス攻撃であり、類似性に基づくサンプリング戦略を用いて敵の例を生成する。
  論文  参考訳（メタデータ） (2023-09-15T15:03:33Z)
• RobuT: A Systematic Study of Table QA Robustness Against Human-Annotated Adversarial Perturbations [13.900589860309488]
  RobuTは既存のテーブルQAデータセット(WTQ、Wiki-Weak、SQA)の上に構築されている 以上の結果から,現状のテーブルQAモデルと大規模言語モデル(GPT-3など)の双方が,これらの対向集合に数発の学習フェールを持つことが明らかとなった。 本稿では,大規模言語モデルを用いて,学習力を高めるための逆例を生成することで,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-06-25T19:23:21Z)
• Mixed-modality Representation Learning and Pre-training for Joint Table-and-Text Retrieval in OpenQA [85.17249272519626]
  最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。 検索中心の混合モード合成事前学習を行う。 OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-10-11T07:04:39Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• Logically Consistent Loss for Visual Question Answering [66.83963844316561]
  ニューラルネットワークに基づく視覚質問応答(VQA)の現在の進歩は、同じ分布(すなわち、d)の仮定による一貫性を保証することができない。 マルチタスク学習フレームワークにおける論理的一貫した損失を定式化することにより,この問題に対処するための新しいモデルに依存しない論理制約を提案する。 実験により、提案された損失公式とハイブリッドバッチの導入により、一貫性が向上し、性能が向上することを確認した。
  論文  参考訳（メタデータ） (2020-11-19T20:31:05Z)
• Contrast and Classify: Training Robust VQA Models [60.80627814762071]
  本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。 双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
  論文  参考訳（メタデータ） (2020-10-13T00:23:59Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)
• TAPAS: Weakly Supervised Table Parsing via Pre-training [16.661382998729067]
  論理形式を生成せずにテーブル上で質問応答を行う手法であるTAPASを提案する。 我々は3つの異なる意味解析データセットを実験した。 TAPASは、最先端の精度を向上させることにより、セマンティックパーシングモデルよりも優れているか、あるいは競合することがわかった。
  論文  参考訳（メタデータ） (2020-04-05T23:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。