論文の概要: SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers

• arxiv url: http://arxiv.org/abs/2407.09413v1
• Date: Fri, 12 Jul 2024 16:37:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-15 22:48:56.049342
• Title: SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers
• Title（参考訳）: SPIQA:科学論文におけるマルチモーダル質問に対する回答データセット
• Authors: Shraman Pramanick, Rama Chellappa, Subhashini Venugopalan,
• Abstract要約: SPIQAは、科学研究論文の文脈内で複雑な図形や表を解釈するために設計されたデータセットである。 データセット作成には自動および手動のキュレーションを使用します。 SPIQAは270Kの質問をトレーニング、検証、3つの異なる評価分割に分割する。
• 参考スコア（独自算出の注目度）: 43.18330795060871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Seeking answers to questions within long scientific research articles is a crucial area of study that aids readers in quickly addressing their inquiries. However, existing question-answering (QA) datasets based on scientific papers are limited in scale and focus solely on textual content. To address this limitation, we introduce SPIQA (Scientific Paper Image Question Answering), the first large-scale QA dataset specifically designed to interpret complex figures and tables within the context of scientific research articles across various domains of computer science. Leveraging the breadth of expertise and ability of multimodal large language models (MLLMs) to understand figures, we employ automatic and manual curation to create the dataset. We craft an information-seeking task involving multiple images that cover a wide variety of plots, charts, tables, schematic diagrams, and result visualizations. SPIQA comprises 270K questions divided into training, validation, and three different evaluation splits. Through extensive experiments with 12 prominent foundational models, we evaluate the ability of current multimodal systems to comprehend the nuanced aspects of research articles. Additionally, we propose a Chain-of-Thought (CoT) evaluation strategy with in-context retrieval that allows fine-grained, step-by-step assessment and improves model performance. We further explore the upper bounds of performance enhancement with additional textual information, highlighting its promising potential for future research and the dataset's impact on revolutionizing how we interact with scientific literature.
• Abstract（参考訳）: 長い科学的研究論文の中で質問に対する答えを探すことは、読者が素早く質問に答えるのを助ける重要な研究分野である。 しかし、科学論文に基づく既存のQAデータセットは、規模が限られており、テキストコンテンツのみに焦点を当てている。 この制限に対処するため,計算機科学の分野にまたがる科学研究論文の文脈内で,複雑な図形や表を解釈するために設計された最初の大規模QAデータセットであるSPIQA(Scientific Paper Image Question Answering)を紹介する。 MLLM(Multimodal large language model)の専門知識と能力を活用して数値を理解することにより、自動的かつ手動的なキュレーションを用いてデータセットを作成する。 我々は、さまざまなプロット、チャート、テーブル、スキーマ図、結果視覚化を含む複数の画像を含む情報検索タスクを構築する。 SPIQAは270Kの質問をトレーニング、検証、3つの異なる評価分割に分割する。 12の顕著な基礎モデルによる広範囲な実験を通じて、研究論文の曖昧な側面を理解するための現在のマルチモーダルシステムの能力を評価する。 さらに,テキスト内検索を用いたChain-of-Thought (CoT) 評価手法を提案する。 さらに、追加のテキスト情報によるパフォーマンス向上の上限について検討し、将来の研究への有望なポテンシャルと、科学文献とのインタラクションの革新性に対するデータセットの影響を強調します。

関連論文リスト

• SciDQA: A Deep Reading Comprehension Dataset over Scientific Papers [20.273439120429025]
  SciDQAは、科学論文の深い理解のためにLSMに挑戦する、理解を読むための新しいデータセットである。 他の科学的QAデータセットとは異なり、SciDQAはドメインの専門家によるピアレビューや論文の著者による回答から質問を出している。 SciDQAの質問は、図、表、方程式、付属品、補足材料にまたがる推論を必要とする。
  論文  参考訳（メタデータ） (2024-11-08T05:28:22Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
  自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。 高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。 標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
  論文  参考訳（メタデータ） (2024-06-19T05:43:02Z)
• A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning [51.7818820745221]
  水中画像強調(UIE)はコンピュータビジョン研究において重要な課題である。 多数のUIEアルゴリズムが開発されているにもかかわらず、網羅的で体系的なレビューはいまだに欠落している。
  論文  参考訳（メタデータ） (2024-05-30T04:46:40Z)
• SciMMIR: Benchmarking Scientific Multi-modal Information Retrieval [64.03631654052445]
  科学領域内の画像テキストペアリングにおけるMMIR性能を評価するための最新のベンチマークは、顕著なギャップを示している。 オープンアクセス用紙コレクションを利用した特殊な科学的MMIRベンチマークを開発する。 このベンチマークは、科学的文書に詳細なキャプションのある数字や表から抽出された、530Kの精巧にキュレートされた画像テキストペアからなる。
  論文  参考訳（メタデータ） (2024-01-24T14:23:12Z)
• Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset and Comprehensive Framework [51.44863255495668]
  マルチモーダル推論は、人間のような知性を示す人工知能システムの追求において重要な要素である。 提案するマルチモーダル推論(COCO-MMR)データセットは,オープンエンド質問の集合を包含する新しいデータセットである。 画像とテキストエンコーダを強化するために,マルチホップ・クロスモーダル・アテンションや文レベルのコントラスト学習などの革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:58:25Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。