論文の概要: SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types

• arxiv url: http://arxiv.org/abs/2412.11757v1
• Date: Mon, 16 Dec 2024 13:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:29.819450
• Title: SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types
• Title（参考訳）: SCITAT: 科学表と多言語推論型をカバーしたテキストのベンチマーク
• Authors: Xuanliang Zhang, Dingzirui Wang, Baoxin Wang, Longxu Dou, Xinyuan Lu, Keyan Xu, Dayong Wu, Qingfu Zhu, Wanxiang Che,
• Abstract要約: 多様な推論型(SciTaT)を用いた科学表とテキストのベンチマークを提案する。 SciTaTに基づいて,異なる推論型やプロセステーブル,テキストを同時に扱うための様々な推論手法を組み合わせた強力なベースライン(CaR)を提案する。 CaRはSciTaT上の他のベースラインよりも平均12.9%の改善をもたらし、その有効性を検証する。
• 参考スコア（独自算出の注目度）: 47.43893398500216
• License:
• Abstract: Scientific question answering (SQA) is an important task aimed at answering questions based on papers. However, current SQA datasets have limited reasoning types and neglect the relevance between tables and text, creating a significant gap with real scenarios. To address these challenges, we propose a QA benchmark for scientific tables and text with diverse reasoning types (SciTaT). To cover more reasoning types, we summarize various reasoning types from real-world questions. To involve both tables and text, we require the questions to incorporate tables and text as much as possible. Based on SciTaT, we propose a strong baseline (CaR), which combines various reasoning methods to address different reasoning types and process tables and text at the same time. CaR brings average improvements of 12.9% over other baselines on SciTaT, validating its effectiveness. Error analysis reveals the challenges of SciTaT, such as complex numerical calculations and domain knowledge.
• Abstract（参考訳）: 科学的質問応答(SQA)は,論文に基づく質問への回答を目的とした重要な課題である。 しかし、現在のSQAデータセットは推論タイプが限られており、テーブルとテキストの関係を無視しているため、実際のシナリオと大きなギャップが生じる。 これらの課題に対処するために,様々な推論型 (SciTaT) を持つ科学表とテキストのQAベンチマークを提案する。 より多くの推論タイプをカバーするために、実世界の質問から様々な推論タイプを要約する。 テーブルとテキストの両方を巻き込むには、テーブルとテキストをできるだけ取り入れる必要がある。 SciTaTに基づいて,異なる推論型やプロセステーブル,テキストを同時に扱うための様々な推論手法を組み合わせた強力なベースライン(CaR)を提案する。 CaRはSciTaT上の他のベースラインよりも平均12.9%の改善をもたらし、その有効性を検証する。 誤り解析は、複雑な数値計算やドメイン知識など、SciTaTの課題を明らかにする。

関連論文リスト

• Diversity Enhanced Narrative Question Generation for Storybooks [4.043005183192124]
  マルチクエスト生成モデル(mQG)を導入し,複数の,多様な,回答可能な質問を生成する。 生成した質問の応答性を検証するために,SQuAD2.0の微調整された質問応答モデルを用いる。 mQGは、強力なベースラインの中で、様々な評価指標で有望な結果を示している。
  論文  参考訳（メタデータ） (2023-10-25T08:10:04Z)
• Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning [150.17907456113537]
  数学的な推論を必要とする38,431のグレードレベルの問題を含む新しいデータセットであるTabular Math Word Problems (TabMWP)を提案する。 我々は,GPT-3モデルを含む,TabMWP上での事前学習モデルの評価を行った。 本稿では、ポリシー勾配を利用して、少量のトレーニングデータからコンテキスト内サンプルを選択する新しいアプローチ、PromptPGを提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:01:04Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in Finance [71.76018597965378]
  TAT-QAと呼ばれるタブラデータとテクスチャデータの両方を含む新しい大規模な質問応答データセットを構築します。 本稿では,テーブルとテキストの両方を推論可能な新しいQAモデルであるTAGOPを提案する。
  論文  参考訳（メタデータ） (2021-05-17T06:12:06Z)
• FeTaQA: Free-form Table Question Answering [33.018256483762386]
  FeTaQAは10Kのウィキペディアベースのテーブル、質問、自由形式の回答、テーブルセルペアをサポートする新しいデータセットである。 FeTaQAは、構造化された知識ソースから複数の不連続な事実の検索、推論、および統合後に自由形式のテキスト回答を生成する必要があるため、より困難なテーブル質問回答設定を提供する。
  論文  参考訳（メタデータ） (2021-04-01T09:59:40Z)
• TSQA: Tabular Scenario Based Question Answering [14.92495213480887]
  シナリオベースの質問応答(SQA)が研究の関心を集めている。 本研究を支援するため,GeoTSQAを構築した。 テーブル・トゥ・テキストの新しいジェネレータであるTTGenにより、最新のMRCメソッドを拡張します。
  論文  参考訳（メタデータ） (2021-01-14T02:00:33Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。