論文の概要: ComplexTempQA: A Large-Scale Dataset for Complex Temporal Question Answering
- arxiv url: http://arxiv.org/abs/2406.04866v2
- Date: Mon, 07 Oct 2024 12:32:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:39:48.141451
- Title: ComplexTempQA: A Large-Scale Dataset for Complex Temporal Question Answering
- Title(参考訳): ComplexTempQA: 複合時間質問回答のための大規模データセット
- Authors: Raphael Gruber, Abdelrahman Abdallah, Michael Färber, Adam Jatowt,
- Abstract要約: ComplexTempQAは、1億以上の質問応答ペアからなる大規模なデータセットである。
このデータセットは、20年以上にわたる質問をカバーし、未一致のトピックを提供している。
- 参考スコア(独自算出の注目度): 24.046966640011124
- License:
- Abstract: We introduce ComplexTempQA, a large-scale dataset consisting of over 100 million question-answer pairs designed to tackle the challenges in temporal question answering. ComplexTempQA significantly surpasses existing benchmarks like HOTPOTQA, TORQUE, and TEQUILA in scale and scope. Utilizing data from Wikipedia and Wikidata, the dataset covers questions spanning over two decades and offers an unmatched breadth of topics. We introduce a unique taxonomy that categorizes questions as attributes, comparisons, and counting questions, each revolving around events, entities, and time periods. One standout feature of ComplexTempQA is the high complexity of its questions, which demand effective capabilities for answering such as across-time comparison, temporal aggregation, and multi-hop reasoning involving temporal event ordering and entity recognition. Additionally, each question is accompanied by detailed metadata, including specific time scopes, allowing for comprehensive evaluation and enhancement of the temporal reasoning abilities of large language models. ComplexTempQA serves both as a testing ground for developing sophisticated AI models and as a foundation for advancing research in question answering, information retrieval, and language understanding.
- Abstract(参考訳): 時間的質問応答の課題に対処するために設計された1億以上の質問応答ペアからなる大規模データセットであるcomplexTempQAを紹介する。
ComplexTempQAは、HOTPOTQA、TORQUE、TEQUILAといった既存のベンチマークをスケールとスコープで大幅に上回っている。
WikipediaとWikidataのデータを利用して、データセットは20年以上にわたる質問をカバーし、さまざまなトピックを提供する。
質問を属性、比較、数える質問に分類するユニークな分類法を導入し、各質問はイベント、エンティティ、期間を中心に回転する。
ComplexTempQAの特長の1つは、その質問の複雑さの高さである。これは、時間的比較、時間的集約、時間的イベント順序付けとエンティティ認識を含むマルチホップ推論といった、回答の効果的な能力を要求するものである。
さらに、各質問には、特定の時間範囲を含む詳細なメタデータが伴い、大きな言語モデルの時間的推論能力の包括的な評価と強化を可能にする。
ComplexTempQAは高度なAIモデルを開発するための試験場として機能し、質問応答、情報検索、言語理解の研究を促進する基盤として機能する。
関連論文リスト
- Multi-hop Question Answering under Temporal Knowledge Editing [9.356343796845662]
知識編集(KE)におけるマルチホップ質問応答(MQA)は,大規模言語モデルの時代において大きな注目を集めている。
KEの下でのMQAの既存のモデルは、明示的な時間的コンテキストを含む質問を扱う場合、パフォーマンスが劣っている。
TEMPoral knowLEdge augmented Multi-hop Question Answering (TEMPLE-MQA) を提案する。
論文 参考訳(メタデータ) (2024-03-30T23:22:51Z) - Joint Multi-Facts Reasoning Network For Complex Temporal Question
Answering Over Knowledge Graph [34.44840297353777]
時間的知識グラフ(TKG)は、時間範囲をアタッチすることで、通常の知識グラフの拡張である。
textbfunderlineMulti textbfunderlineFacts textbfunderlineReasoning textbfunderlineNetwork (JMFRN)を提案する。
論文 参考訳(メタデータ) (2024-01-04T11:34:39Z) - Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
論文 参考訳(メタデータ) (2023-11-16T11:49:29Z) - Semantic Parsing for Conversational Question Answering over Knowledge
Graphs [63.939700311269156]
本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。
本稿では,2つの意味解析手法を提案し,その課題を強調した。
私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
論文 参考訳(メタデータ) (2023-01-28T14:45:11Z) - A Benchmark for Generalizable and Interpretable Temporal Question
Answering over Knowledge Bases [67.33560134350427]
TempQA-WDは時間的推論のためのベンチマークデータセットである。
Wikidataは、最も頻繁にキュレーションされ、公開されている知識ベースである。
論文 参考訳(メタデータ) (2022-01-15T08:49:09Z) - TempoQR: Temporal Question Reasoning over Knowledge Graphs [11.054877399064804]
本稿では,知識グラフに関する複雑な疑問に答える包括的埋め込み型フレームワークを提案する。
提案手法は時間的問題推論(TempoQR)と呼ばれ、TKGの埋め込みを利用して、対象とする特定のエンティティや時間範囲に疑問を定めている。
実験の結果,TempoQRの精度は25~45ポイント向上した。
論文 参考訳(メタデータ) (2021-12-10T23:59:14Z) - ConditionalQA: A Complex Reading Comprehension Dataset with Conditional
Answers [93.55268936974971]
条件付き回答を含む複雑な質問を含む質問回答データセットについて述べる。
このデータセットを ConditionalQA と呼びます。
本稿では,既存のQAモデルの多く,特に回答条件の選択において,ConditionalQAは困難であることを示す。
論文 参考訳(メタデータ) (2021-10-13T17:16:46Z) - ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question
Answering over Archival News Collections [20.07130742712862]
本稿では,1067,056組の質問応答データセットArchivealQAを提案する。
課題の難易度と時間表現の包含に基づいて,データセットの4つの部分を作成する。
論文 参考訳(メタデータ) (2021-09-08T05:21:51Z) - A Dataset for Answering Time-Sensitive Questions [88.95075983560331]
時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。
時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。
既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
論文 参考訳(メタデータ) (2021-08-13T16:42:25Z) - QAConv: Question Answering on Informative Conversations [85.2923607672282]
ビジネスメールやパネルディスカッション,作業チャネルなど,情報的な会話に重点を置いています。
合計で、スパンベース、フリーフォーム、および回答不能な質問を含む34,204のQAペアを収集します。
論文 参考訳(メタデータ) (2021-05-14T15:53:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。