論文の概要: KET-QA: A Dataset for Knowledge Enhanced Table Question Answering

• arxiv url: http://arxiv.org/abs/2405.08099v1
• Date: Mon, 13 May 2024 18:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 15:56:55.060333
• Title: KET-QA: A Dataset for Knowledge Enhanced Table Question Answering
• Title（参考訳）: KET-QA: 知識に富んだ質問応答のためのデータセット
• Authors: Mengkang Hu, Haoyu Dong, Ping Luo, Shi Han, Dongmei Zhang,
• Abstract要約: 本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
• 参考スコア（独自算出の注目度）: 63.56707527868466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the concise and structured nature of tables, the knowledge contained therein may be incomplete or missing, posing a significant challenge for table question answering (TableQA) and data analysis systems. Most existing datasets either fail to address the issue of external knowledge in TableQA or only utilize unstructured text as supplementary information for tables. In this paper, we propose to use a knowledge base (KB) as the external knowledge source for TableQA and construct a dataset KET-QA with fine-grained gold evidence annotation. Each table in the dataset corresponds to a sub-graph of the entire KB, and every question requires the integration of information from both the table and the sub-graph to be answered. To extract pertinent information from the vast knowledge sub-graph and apply it to TableQA, we design a retriever-reasoner structured pipeline model. Experimental results demonstrate that our model consistently achieves remarkable relative performance improvements ranging from 1.9 to 6.5 times and absolute improvements of 11.66% to 44.64% on EM scores across three distinct settings (fine-tuning, zero-shot, and few-shot), in comparison with solely relying on table information in the traditional TableQA manner. However, even the best model achieves a 60.23% EM score, which still lags behind the human-level performance, highlighting the challenging nature of KET-QA for the question-answering community. We also provide a human evaluation of error cases to analyze further the aspects in which the model can be improved. Project page: https://ketqa.github.io/.
• Abstract（参考訳）: テーブルの簡潔で構造化された性質のため、それに含まれる知識は不完全あるいは欠落しており、テーブル質問応答(TableQA)やデータ分析システムにとって重要な課題となっている。 既存のデータセットのほとんどは、テーブルQAの外部知識の問題に対処できないか、あるいはテーブルの補足情報として構造化されていないテキストのみを使用する。 本稿では,TableQAの外部知識源として知識ベース(KB)を用い,詳細なゴールドエビデンスアノテーションを備えたデータセットKET-QAを構築することを提案する。 データセットの各テーブルはKB全体のサブグラフに対応しており、各質問にはテーブルとサブグラフの両方からの情報を統合する必要がある。 膨大な知識サブグラフから関連する情報を抽出し、それをTableQAに適用するために、検索器・リアゾンダ構成パイプラインモデルを設計する。 実験の結果,従来のテーブルQA方式のテーブル情報にのみ依存するのに比べ,EMスコアの1.9倍から6.5倍,絶対的な11.66%から44.64%という3つの異なる設定(微調整,ゼロショット,少数ショット)において,優れた相対的性能向上を実現していることがわかった。 しかし、最高のモデルでさえも60.23%のEMスコアを達成しており、これは人間レベルのパフォーマンスに遅れを取っており、質問に答えるコミュニティにとってKET-QAの挑戦的な性質を浮き彫りにしている。 また、モデルを改善する側面をさらに分析するために、エラー事例の人間による評価も提供する。 プロジェクトページ: https://ketqa.github.io/.com

関連論文リスト

• TANQ: An open domain dataset of table answered questions [15.323690523538572]
  TANQは、複数のソースにまたがる情報からテーブルを構築する必要がある、最初のオープンドメイン質問応答データセットである。 結果の表にあるすべてのセルに対する完全なソース属性を公開し、オープン、オラクル、クローズドブックのセットアップで最先端の言語モデルをベンチマークします。 最も優れたベースラインであるGPT4は、全体的なF1スコア29.1に達し、人間のパフォーマンスを19.7ポイント遅れています。
  論文  参考訳（メタデータ） (2024-05-13T14:07:20Z)
• Augment before You Try: Knowledge-Enhanced Table Question Answering via Table Expansion [57.53174887650989]
  テーブル質問応答は、構造化されたデータを理解し、相互作用するモデルの能力を評価する一般的なタスクである。 既存の方法は表と外部の知識の両方をテキストに変換し、表の構造的な性質を無視する。 そこで本稿では,表に外部情報を統合するための簡易で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-01-28T03:37:11Z)
• Localize, Retrieve and Fuse: A Generalized Framework for Free-Form Question Answering over Tables [46.039687237878105]
  TableQAは、提供されたテーブルに座った質問に対する回答を生成することを目的としている。 テーブルからグラフへの変換,セルローカライズ,外部知識検索,テーブルとテキストの融合を提案する。 実験は、忠実で一貫性のある文を生成するためのTAG-QAの優れた能力を示す。
  論文  参考訳（メタデータ） (2023-09-20T03:52:34Z)
• RobuT: A Systematic Study of Table QA Robustness Against Human-Annotated Adversarial Perturbations [13.900589860309488]
  RobuTは既存のテーブルQAデータセット(WTQ、Wiki-Weak、SQA)の上に構築されている 以上の結果から,現状のテーブルQAモデルと大規模言語モデル(GPT-3など)の双方が,これらの対向集合に数発の学習フェールを持つことが明らかとなった。 本稿では,大規模言語モデルを用いて,学習力を高めるための逆例を生成することで,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-06-25T19:23:21Z)
• QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
  人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。 そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。 このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:43:51Z)
• MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering [61.48881995121938]
  実世界のクエリは本質的に複雑で、リレーショナルデータベースやWebページ内の複数のテーブルにまたがることが多い。 我々のモデルであるMultiTabQAは、複数のテーブル上の質問に答えるだけでなく、表形式の回答を生成するために一般化する。
  論文  参考訳（メタデータ） (2023-05-22T08:25:15Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• Knowledge Graph-based Question Answering with Electronic Health Records [30.901617020638124]
  Question Answering (QA)は、インテリジェントマシンの開発と評価のための広く使われているフレームワークである。 本稿では,自然言語クエリをSPARQLに変換するグラフベースのEHR QAを提案する。 すべてのデータセットはオープンソースとして公開されており、EHR QAの研究をさらに促進している。
  論文  参考訳（メタデータ） (2020-10-19T11:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。