論文の概要: RobuT: A Systematic Study of Table QA Robustness Against Human-Annotated Adversarial Perturbations

• arxiv url: http://arxiv.org/abs/2306.14321v1
• Date: Sun, 25 Jun 2023 19:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 15:34:17.859366
• Title: RobuT: A Systematic Study of Table QA Robustness Against Human-Annotated Adversarial Perturbations
• Title（参考訳）: RobuT: 表QAロバスト性に関する体系的研究
• Authors: Yilun Zhao, Chen Zhao, Linyong Nan, Zhenting Qi, Wenlin Zhang, Xiangru Tang, Boyu Mi, Dragomir Radev
• Abstract要約: RobuTは既存のテーブルQAデータセット(WTQ、Wiki-Weak、SQA)の上に構築されている 以上の結果から,現状のテーブルQAモデルと大規模言語モデル(GPT-3など)の双方が,これらの対向集合に数発の学習フェールを持つことが明らかとなった。 本稿では,大規模言語モデルを用いて,学習力を高めるための逆例を生成することで,この問題に対処することを提案する。
• 参考スコア（独自算出の注目度）: 13.900589860309488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant progress having been made in question answering on tabular data (Table QA), it's unclear whether, and to what extent existing Table QA models are robust to task-specific perturbations, e.g., replacing key question entities or shuffling table columns. To systematically study the robustness of Table QA models, we propose a benchmark called RobuT, which builds upon existing Table QA datasets (WTQ, WikiSQL-Weak, and SQA) and includes human-annotated adversarial perturbations in terms of table header, table content, and question. Our results indicate that both state-of-the-art Table QA models and large language models (e.g., GPT-3) with few-shot learning falter in these adversarial sets. We propose to address this problem by using large language models to generate adversarial examples to enhance training, which significantly improves the robustness of Table QA models. Our data and code is publicly available at https://github.com/yilunzhao/RobuT.
• Abstract（参考訳）: 表形式のデータ(Table QA)に対する回答が疑問視されているにもかかわらず、既存のテーブルQAモデルがタスク固有の摂動(例えば、キー質問エンティティを置き換えたり、テーブル列をシャッフルするなど)に対して堅牢であるかどうかは不明だ。 テーブルQAモデルのロバスト性を体系的に研究するために,既存のテーブルQAデータセット(WTQ,WikiSQL-Weak,SQA)をベースとしたRobuTというベンチマークを提案し,テーブルヘッダ,テーブル内容,質問といった点において,人間に注釈を付けた逆の摂動を含む。 以上の結果から,現状のテーブルQAモデルと大規模言語モデル(GPT-3など)の双方が,これらの対向集合に数発の学習フェールを持つことが明らかとなった。 そこで本稿では,大規模言語モデルを用いて,テーブルQAモデルのロバスト性を大幅に向上させる学習例を生成することを提案する。 私たちのデータとコードはhttps://github.com/yilunzhao/robutで公開されています。

関連論文リスト

• Table Question Answering for Low-resourced Indic Languages [71.57359949962678]
  TableQAは構造化された情報のテーブル上で質問に答え、個々のセルやテーブルを出力として返すタスクである。 予算が限られている低リソース言語を対象とした,完全自動大規模テーブルQAデータ生成プロセスを提案する。 表QAデータセットやモデルを持たない2つのIndic言語であるBengaliとHindiにデータ生成手法を組み込む。
  論文  参考訳（メタデータ） (2024-10-04T16:26:12Z)
• SynTQA: Synergistic Table-based Question Answering via Mixture of Text-to-SQL and E2E TQA [25.09488366689108]
  テキスト・ツー・パースとエンドツーエンド質問応答(E2E TQA)は、表に基づく質問回答タスクの2つの主要なアプローチである。 複数のベンチマークで成功したが、まだ比較されておらず、相乗効果は未解明のままである。 ベンチマークデータセットの最先端モデルを評価することによって、さまざまな長所と短所を識別する。
  論文  参考訳（メタデータ） (2024-09-25T07:18:45Z)
• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• TableQAKit: A Comprehensive and Practical Toolkit for Table-based Question Answering [23.412691101965414]
  TableQAKitは、TableQA専用に設計された最初の総合ツールキットである。 TableQAKitは、ビジュアル操作を含むインタラクティブなインターフェースと、使いやすい包括的なデータを備えたオープンソースである。
  論文  参考訳（メタデータ） (2023-10-23T16:33:23Z)
• MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering [61.48881995121938]
  実世界のクエリは本質的に複雑で、リレーショナルデータベースやWebページ内の複数のテーブルにまたがることが多い。 我々のモデルであるMultiTabQAは、複数のテーブル上の質問に答えるだけでなく、表形式の回答を生成するために一般化する。
  論文  参考訳（メタデータ） (2023-05-22T08:25:15Z)
• RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question Answering [87.18962441714976]
  堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。 我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。 以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
  論文  参考訳（メタデータ） (2022-10-25T21:39:36Z)
• A Survey on Table Question Answering: Recent Advances [10.874446530132087]
  テーブル質問回答(Table Question Answering, 表QA)は、ユーザの質問に答えるために、テーブルから正確な回答を提供する。 既存のテーブルQAの手法を,その手法により5つのカテゴリに分類する。 本稿では,いくつかの重要な課題を特定し,今後のテーブルQAの方向性について論じる。
  論文  参考訳（メタデータ） (2022-07-12T02:44:40Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。