論文の概要: TempTabQA: Temporal Question Answering for Semi-Structured Tables

• arxiv url: http://arxiv.org/abs/2311.08002v1
• Date: Tue, 14 Nov 2023 08:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 14:50:52.519084
• Title: TempTabQA: Temporal Question Answering for Semi-Structured Tables
• Title（参考訳）: TempTabQA:半構造化テーブルに対する時間質問回答
• Authors: Vivek Gupta, Pranshu Kandoi, Mahek Bhavesh Vora, Shuo Zhang, Yujie He, Ridho Reinanda, Vivek Srikumar
• Abstract要約: 半構造化テーブル上での時間的質問応答の課題について紹介する。 我々は1,208のWikipedia Infoboxテーブルから抽出された11,454の質問応答ペアからなるTempTabQAというデータセットを提案する。 13.5 F1 点以上の人間のパフォーマンスに遅れを生じさせる最上位の LLM であっても観察できる。
• 参考スコア（独自算出の注目度）: 30.535710705169844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semi-structured data, such as Infobox tables, often include temporal information about entities, either implicitly or explicitly. Can current NLP systems reason about such information in semi-structured tables? To tackle this question, we introduce the task of temporal question answering on semi-structured tables. We present a dataset, TempTabQA, which comprises 11,454 question-answer pairs extracted from 1,208 Wikipedia Infobox tables spanning more than 90 distinct domains. Using this dataset, we evaluate several state-of-the-art models for temporal reasoning. We observe that even the top-performing LLMs lag behind human performance by more than 13.5 F1 points. Given these results, our dataset has the potential to serve as a challenging benchmark to improve the temporal reasoning capabilities of NLP models.
• Abstract（参考訳）: infoboxテーブルのような半構造化データには、しばしば暗黙的または明示的なエンティティに関する時間的情報が含まれる。 現在のNLPシステムは、半構造化テーブルでそのような情報を推論できるだろうか? そこで本研究では,半構造化表上での時間的質問応答の課題を紹介する。 我々は,90以上の異なるドメインにまたがる1,208のWikipedia Infoboxテーブルから11,454の質問応答ペアからなるTempTabQAというデータセットを提案する。 このデータセットを用いて,時間的推論のための最先端モデルをいくつか評価する。 13.5 F1 点以上の人間のパフォーマンスに遅れを生じさせる最上位の LLM であっても観察できる。 これらの結果を踏まえ、我々のデータセットは、NLPモデルの時間的推論能力を改善するための挑戦的なベンチマークとして機能する可能性がある。

関連論文リスト

• Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
  我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。 調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。 我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
  論文  参考訳（メタデータ） (2024-07-22T20:13:10Z)
• ComplexTempQA: A Large-Scale Dataset for Complex Temporal Question Answering [24.046966640011124]
  ComplexTempQAは、1億以上の質問応答ペアからなる大規模なデータセットである。 このデータセットは、20年以上にわたる質問をカバーし、未一致のトピックを提供している。
  論文  参考訳（メタデータ） (2024-06-07T12:01:59Z)
• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• TANQ: An open domain dataset of table answered questions [15.323690523538572]
  TANQは、複数のソースにまたがる情報からテーブルを構築する必要がある、最初のオープンドメイン質問応答データセットである。 結果の表にあるすべてのセルに対する完全なソース属性を公開し、オープン、オラクル、クローズドブックのセットアップで最先端の言語モデルをベンチマークします。 最も優れたベースラインであるGPT4は、全体的なF1スコア29.1に達し、人間のパフォーマンスを19.7ポイント遅れています。
  論文  参考訳（メタデータ） (2024-05-13T14:07:20Z)
• CABINET: Content Relevance based Noise Reduction for Table Question Answering [21.899938933558396]
  CABINET(Content RelevAnce-Based NoIse ReductioN for TablE QuesTion-Answering)は、大規模言語モデル(LLM)が外部情報を抑制することで関連するデータに集中できるようにするフレームワークである。 ノイズを導出し、様々なサイズのテーブル上でパフォーマンスを維持し、WikiTQ、FeTaQA、Wikiデータセット上で新しいSoTAパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-02-02T05:48:39Z)
• QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
  人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。 そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。 このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:43:51Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• A Benchmark for Generalizable and Interpretable Temporal Question Answering over Knowledge Bases [67.33560134350427]
  TempQA-WDは時間的推論のためのベンチマークデータセットである。 Wikidataは、最も頻繁にキュレーションされ、公開されている知識ベースである。
  論文  参考訳（メタデータ） (2022-01-15T08:49:09Z)
• HiTab: A Hierarchical Table Dataset for Question Answering and Natural Language Generation [35.73434495391091]
  階層テーブルは、計算と意味論の暗黙の関係と同様に、階層的な索引付けによって既存の手法に挑戦する。 この研究は、階層テーブル上で質問応答(QA)と自然言語生成(NLG)を研究する研究コミュニティのための、自由でオープンなデータセットであるHiTabを提示する。
  論文  参考訳（メタデータ） (2021-08-15T10:14:21Z)
• A Dataset for Answering Time-Sensitive Questions [88.95075983560331]
  時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。 時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。 既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
  論文  参考訳（メタデータ） (2021-08-13T16:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。