論文の概要: pdfQA: Diverse, Challenging, and Realistic Question Answering over PDFs

• arxiv url: http://arxiv.org/abs/2601.02285v1
• Date: Mon, 05 Jan 2026 17:15:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:23.293734
• Title: pdfQA: Diverse, Challenging, and Realistic Question Answering over PDFs
• Title（参考訳）: pdfQA:PDF上での多変量, 混在, 現実的な質問
• Authors: Tobias Schimanski, Imene Kolli, Jingwei Ni, Yu Fan, Ario Saeid Vaghefi, Elliott Ash, Markus Leippold,
• Abstract要約: マルチドメイン2K人間アノテーション(real-pdfQA)と2K合成データセット(syn-pdfQA)について述べる。 両データセットに品質と難易度フィルタを適用して評価し、有効なQAペアと挑戦的なQAペアを得る。
• 参考スコア（独自算出の注目度）: 14.395485027306739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: PDFs are the second-most used document type on the internet (after HTML). Yet, existing QA datasets commonly start from text sources or only address specific domains. In this paper, we present pdfQA, a multi-domain 2K human-annotated (real-pdfQA) and 2K synthetic dataset (syn-pdfQA) differentiating QA pairs in ten complexity dimensions (e.g., file type, source modality, source position, answer type). We apply and evaluate quality and difficulty filters on both datasets, obtaining valid and challenging QA pairs. We answer the questions with open-source LLMs, revealing existing challenges that correlate with our complexity dimensions. pdfQA presents a basis for end-to-end QA pipeline evaluation, testing diverse skill sets and local optimizations (e.g., in information retrieval or parsing).
• Abstract（参考訳）: PDFは(HTMLに次いで)インターネット上で2番目に使われているドキュメントタイプである。 しかし、既存のQAデータセットは通常、テキストソースから始まり、特定のドメインにのみ対処する。 本稿では, pdfQA, マルチドメイン2K人間アノテーション(実pdfQA)と2K合成データセット(シン-pdfQA)を用いて, 複雑な10次元のQAペア(ファイルタイプ, ソースモダリティ, ソース位置, 応答タイプ)を識別する。 両データセットに品質と難易度フィルタを適用して評価し、有効なQAペアと挑戦的なQAペアを得る。 我々はオープンソースのLCMで質問に答え、複雑さの次元と相関する既存の課題を明らかにします。 pdfQAは、エンドツーエンドのQAパイプライン評価の基礎を示し、多様なスキルセットと局所最適化(例えば、情報検索や解析)をテストする。

関連論文リスト

• MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
  環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。 MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。 MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
  論文  参考訳（メタデータ） (2025-07-25T03:58:07Z)
• PDF Retrieval Augmented Question Answering [14.617711623828248]
  本稿では,Retrieval Augmented Generation (RAG) フレームワークを用いた質問応答システム(QA)の進歩について述べる。 我々は,複雑なマルチモーダル質問を効果的に解決する総合的なRAGベースのQAシステムの構築を目指している。
  論文  参考訳（メタデータ） (2025-06-22T13:14:19Z)
• PeerQA: A Scientific Question Answering Dataset from Peer Reviews [51.95579001315713]
  実世界の科学的、文書レベルの質問回答データセットであるPeerQAを提示する。 データセットには208の学術論文から579のQAペアが含まれており、MLとNLPが多数を占めている。 収集したデータセットを詳細に分析し、3つのタスクのベースラインシステムを確立する実験を行う。
  論文  参考訳（メタデータ） (2025-02-19T12:24:46Z)
• SciDQA: A Deep Reading Comprehension Dataset over Scientific Papers [20.273439120429025]
  SciDQAは、科学論文の深い理解のためにLSMに挑戦する、理解を読むための新しいデータセットである。 他の科学的QAデータセットとは異なり、SciDQAはドメインの専門家によるピアレビューや論文の著者による回答から質問を出している。 SciDQAの質問は、図、表、方程式、付属品、補足材料にまたがる推論を必要とする。
  論文  参考訳（メタデータ） (2024-11-08T05:28:22Z)
• Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
  テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。 我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-03T03:06:31Z)
• Detect, Retrieve, Comprehend: A Flexible Framework for Zero-Shot Document-Level Question Answering [6.224211330728391]
  研究者は貴重な技術知識を含む何千もの学術文書を作成した。 文書レベルの質問応答(QA)は、人間の提案する質問を適応して多様な知識を抽出できる柔軟なフレームワークを提供する。 本稿では,PDFからテキストを抽出する3段階の文書QAアプローチ,抽出したテキストからエビデンスを抽出して適切な文脈を形成する方法,文脈から知識を抽出して高品質な回答を返すためのQAを提案する。
  論文  参考訳（メタデータ） (2022-10-04T23:33:52Z)
• Narrative Question Answering with Cutting-Edge Open-Domain QA Techniques: A Comprehensive Study [45.9120218818558]
  我々は,NarrativeQAデータセットについて,最先端ODQA技術を用いた実験でベンチマークを行った。 このことは、書籍のQAがもたらす課題を定量化し、発行された最先端技術がルージュ-Lの絶対的な改善として$sim$7%で進歩する。 その結果,イベント中心の質問がこのタスクを支配しており,イベント指向シナリオを扱うための既存のQAモデルの欠如を実証していることがわかった。
  論文  参考訳（メタデータ） (2021-06-07T17:46:09Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。