論文の概要: Automatic Inter-document Multi-hop Scientific QA Generation
- arxiv url: http://arxiv.org/abs/2603.14257v1
- Date: Sun, 15 Mar 2026 07:27:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.704964
- Title: Automatic Inter-document Multi-hop Scientific QA Generation
- Title（参考訳）: 文書間マルチホップ科学QA自動生成
- Authors: Seungmin Lee, Dongha Kim, Yuni Jeon, Junyoung Koh, Min Song,
- Abstract要約: AIM-SciQAは、マルチドキュメントでマルチホップな科学的なQAデータセットを生成する自動化フレームワークである。
411,409個のシングルホップと13,672個のマルチホップQAを生成し、IM-SciQAデータセットを形成する。
我々は、このフレームワークを拡張して、Oracleの設定に匹敵するパフォーマンスを達成する引用誘導型変種であるCIM-SciQAを構築します。
- 参考スコア（独自算出の注目度）: 6.888898978394167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing automatic scientific question generation studies mainly focus on single-document factoid QA, overlooking the inter-document reasoning crucial for scientific understanding. We present AIM-SciQA, an automated framework for generating multi-document, multi-hop scientific QA datasets. AIM-SciQA extracts single-hop QAs using large language models (LLMs) with machine reading comprehension and constructs cross-document relations based on embedding-based semantic alignment while selectively leveraging citation information. Applied to 8,211 PubMed Central papers, it produced 411,409 single-hop and 13,672 multi-hop QAs, forming the IM-SciQA dataset. Human and automatic validation confirmed high factual consistency, and experimental results demonstrate that IM-SciQA effectively differentiates reasoning capabilities across retrieval and QA stages, providing a realistic and interpretable benchmark for retrieval-augmented scientific reasoning. We further extend this framework to construct CIM-SciQA, a citation-guided variant achieving comparable performance to the Oracle setting, reinforcing the dataset's validity and generality.
- Abstract（参考訳）: 既存の科学的質問生成研究は、主に単一文書のファクトイドQAに焦点を当てており、科学的理解に不可欠な文書間推論を見下ろしている。
AIM-SciQAは、マルチドキュメントでマルチホップな科学的なQAデータセットを生成する自動化フレームワークである。
AIM-SciQAは,大規模言語モデル(LLM)を用いて単一ホップQAを抽出し,埋め込み型セマンティックアライメントに基づく文書間関係を構築し,引用情報を選択的に活用する。
8,211のPubMed Central論文に適用され、411,409個のシングルホップと13,672個のマルチホップQAを生成し、IM-SciQAデータセットを形成した。
IM-SciQAは,検索とQA段階の推論能力を効果的に区別し,検索を増強した科学的推論のための現実的で解釈可能なベンチマークを提供する。
我々はさらに、このフレームワークを拡張して、Oracle設定に匹敵するパフォーマンスを達成し、データセットの妥当性と汎用性を強化した引用誘導型変種であるCIM-SciQAを構築します。
関連論文リスト
- SciMDR: Benchmarking and Advancing Scientific Multimodal Document Reasoning [59.93568326270048]
集中セグメント上での忠実で孤立したQAペアを生成する合成合成フレームワークを提案する。
クロスモーダル理解のための大規模トレーニングデータセットであるSciMDRを構築した。
実験により、SciMDRモデルは複数の科学的QAベンチマークで大幅に改善されていることが示された。
論文 参考訳（メタデータ） (2026-03-12T17:57:52Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering [53.662676566188175]
重要なボトルネックは、パブリックで大規模で高品質なビジュアル質問回答(SVQA)データセットの欠如にある。
本稿では、まず、図形関連テクストコンテキストとQAペアを生成する検証中心のGenerate-then-Verifyフレームワークを提案する。
このフレームワークをインスタンス化し、20の科学的ドメインと12のフィギュアタイプからなる20,351のQAペアのデータセットであるVeriSciQAをキュレートします。
論文 参考訳（メタデータ） (2025-11-25T04:14:52Z) - OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
オピオイド危機は公衆衛生にとって重要な瞬間である。
UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書
本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
論文 参考訳（メタデータ） (2025-11-13T03:27:32Z) - AirQA: A Comprehensive QA Dataset for AI Research with Instance-Level Evaluation [31.02336903452371]
AirQAは人工知能(AI)分野における人手による包括的な紙QAデータセットである
3つのLDMベースのエージェントにより、ExTrActorは人間の介入なしにサンプル生成および軌道収集を行うことができる。
ExTrActorは、小さなモデルのマルチターンツール使用能力を一貫して改善し、より大きなモデルに匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-09-21T07:24:17Z) - DocHop-QA: Towards Multi-Hop Reasoning over Multimodal Document Collections [23.428084176322866]
本稿では,マルチモーダル,マルチドキュメント,マルチホップ質問応答のための大規模ベンチマークであるDocHop-QAを提案する。
DocHop-QAはドメインに依存しないもので、テキストパス、テーブル、構造的なレイアウトキューなど、さまざまな情報フォーマットが組み込まれている。
我々は,構造化インデックス予測,生成応答,マルチモーダル統合の4つのタスクを通してDocHop-QAを評価した。
論文 参考訳（メタデータ） (2025-08-20T08:17:45Z) - iTRI-QA: a Toolset for Customized Question-Answer Dataset Generation Using Language Models for Enhanced Scientific Research [1.2411445143550854]
本稿では,iTRI (Interactive Trained Research Innovator) - QA (Interactive Trained Research Innovator) と呼ばれる,カスタマイズされた質問応答(QA)データセットの開発のためのツールを提案する。
提案手法は,キュレートされたQAデータセットと特殊な研究論文データセットを統合し,微調整されたLMを用いて応答の文脈的関連性と精度を向上させる。
このパイプラインは動的でドメイン固有のQAシステムを提供し、将来のLMデプロイメントに適用される。
論文 参考訳（メタデータ） (2025-01-27T23:38:39Z) - RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。
25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。
我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
論文 参考訳（メタデータ） (2024-06-13T06:42:32Z) - HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA [13.000411428297813]
コンテンツにカスケードメタデータと複数ルート検索機構を統合した,高度な多文書質問応答(MDQA)フレームワークであるHiQAを提案する。
また、MDQAの評価と研究を行うMasQAというベンチマークもリリースしました。
論文 参考訳（メタデータ） (2024-02-01T02:24:15Z) - Peek Across: Improving Multi-Document Modeling via Cross-Document
Question-Answering [49.85790367128085]
我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。
この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。
分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
論文 参考訳（メタデータ） (2023-05-24T17:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。