論文の概要: TempTabQA: Temporal Question Answering for Semi-Structured Tables
- arxiv url: http://arxiv.org/abs/2311.08002v1
- Date: Tue, 14 Nov 2023 08:57:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:50:52.519084
- Title: TempTabQA: Temporal Question Answering for Semi-Structured Tables
- Title(参考訳): TempTabQA:半構造化テーブルに対する時間質問回答
- Authors: Vivek Gupta, Pranshu Kandoi, Mahek Bhavesh Vora, Shuo Zhang, Yujie He,
Ridho Reinanda, Vivek Srikumar
- Abstract要約: 半構造化テーブル上での時間的質問応答の課題について紹介する。
我々は1,208のWikipedia Infoboxテーブルから抽出された11,454の質問応答ペアからなるTempTabQAというデータセットを提案する。
13.5 F1 点以上の人間のパフォーマンスに遅れを生じさせる最上位の LLM であっても観察できる。
- 参考スコア(独自算出の注目度): 30.535710705169844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-structured data, such as Infobox tables, often include temporal
information about entities, either implicitly or explicitly. Can current NLP
systems reason about such information in semi-structured tables? To tackle this
question, we introduce the task of temporal question answering on
semi-structured tables. We present a dataset, TempTabQA, which comprises 11,454
question-answer pairs extracted from 1,208 Wikipedia Infobox tables spanning
more than 90 distinct domains. Using this dataset, we evaluate several
state-of-the-art models for temporal reasoning. We observe that even the
top-performing LLMs lag behind human performance by more than 13.5 F1 points.
Given these results, our dataset has the potential to serve as a challenging
benchmark to improve the temporal reasoning capabilities of NLP models.
- Abstract(参考訳): infoboxテーブルのような半構造化データには、しばしば暗黙的または明示的なエンティティに関する時間的情報が含まれる。
現在のNLPシステムは、半構造化テーブルでそのような情報を推論できるだろうか?
そこで本研究では,半構造化表上での時間的質問応答の課題を紹介する。
我々は,90以上の異なるドメインにまたがる1,208のWikipedia Infoboxテーブルから11,454の質問応答ペアからなるTempTabQAというデータセットを提案する。
このデータセットを用いて,時間的推論のための最先端モデルをいくつか評価する。
13.5 F1 点以上の人間のパフォーマンスに遅れを生じさせる最上位の LLM であっても観察できる。
これらの結果を踏まえ、我々のデータセットは、NLPモデルの時間的推論能力を改善するための挑戦的なベンチマークとして機能する可能性がある。
関連論文リスト
- CABINET: Content Relevance based Noise Reduction for Table Question
Answering [21.899938933558396]
CABINET(Content RelevAnce-Based NoIse ReductioN for TablE QuesTion-Answering)は、大規模言語モデル(LLM)が外部情報を抑制することで関連するデータに集中できるようにするフレームワークである。
ノイズを導出し、様々なサイズのテーブル上でパフォーマンスを維持し、WikiTQ、FeTaQA、Wikiデータセット上で新しいSoTAパフォーマンスを確立する。
論文 参考訳(メタデータ) (2024-02-02T05:48:39Z) - Chain-of-Table: Evolving Tables in the Reasoning Chain for Table
Understanding [79.9461269253121]
そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。
Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-01-09T07:46:26Z) - QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。
そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。
このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:43:51Z) - MultiTabQA: Generating Tabular Answers for Multi-Table Question
Answering [61.48881995121938]
実世界のクエリは本質的に複雑で、リレーショナルデータベースやWebページ内の複数のテーブルにまたがることが多い。
我々のモデルであるMultiTabQAは、複数のテーブル上の質問に答えるだけでなく、表形式の回答を生成するために一般化する。
論文 参考訳(メタデータ) (2023-05-22T08:25:15Z) - Time-aware Multiway Adaptive Fusion Network for Temporal Knowledge Graph
Question Answering [10.170042914522778]
我々は,新しい textbf Time-aware textbfMultiway textbfAdaptive (textbfTMA) 融合ネットワークを提案する。
それぞれの質問に対して、TMAはまずKGから関連する概念を抽出し、それから多方向適応モジュールに供給する。
この表現は、最終的な予測を生成するために、事前訓練されたKG埋め込みに組み込むことができる。
論文 参考訳(メタデータ) (2023-02-24T09:29:40Z) - OmniTab: Pretraining with Natural and Synthetic Data for Few-shot
Table-based Question Answering [106.73213656603453]
最小限のアノテーションによるテーブルベースのQAモデルを構築した。
本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
論文 参考訳(メタデータ) (2022-07-08T01:23:45Z) - A Benchmark for Generalizable and Interpretable Temporal Question
Answering over Knowledge Bases [67.33560134350427]
TempQA-WDは時間的推論のためのベンチマークデータセットである。
Wikidataは、最も頻繁にキュレーションされ、公開されている知識ベースである。
論文 参考訳(メタデータ) (2022-01-15T08:49:09Z) - HiTab: A Hierarchical Table Dataset for Question Answering and Natural
Language Generation [35.73434495391091]
階層テーブルは、計算と意味論の暗黙の関係と同様に、階層的な索引付けによって既存の手法に挑戦する。
この研究は、階層テーブル上で質問応答(QA)と自然言語生成(NLG)を研究する研究コミュニティのための、自由でオープンなデータセットであるHiTabを提示する。
論文 参考訳(メタデータ) (2021-08-15T10:14:21Z) - A Dataset for Answering Time-Sensitive Questions [88.95075983560331]
時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。
時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。
既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
論文 参考訳(メタデータ) (2021-08-13T16:42:25Z) - INFOTABS: Inference on Tables as Semi-structured Data [39.84930221015755]
我々は,ウィキペディアのインフォボックスから抽出されたテーブルである前提に基づいて,人間によるテキスト仮説からなるINFOTABSという新しいデータセットを導入する。
解析の結果,半構造的,多領域的,異種的の性質は複雑で多面的推論を許容していることがわかった。
実験の結果、人間アノテータはテーブル-仮説のペア間の関係について合意する一方で、いくつかの標準的なモデリング戦略はそのタスクにおいて失敗していることがわかった。
論文 参考訳(メタデータ) (2020-05-13T02:07:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。