論文の概要: LitTraceQA: A Benchmark for Multi-Stage Grounding and Verification in Scientific Question Answering
- arxiv url: http://arxiv.org/abs/2608.07370v1
- Date: Fri, 07 Aug 2026 16:11:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.561793
- Title: LitTraceQA: A Benchmark for Multi-Stage Grounding and Verification in Scientific Question Answering
- Title（参考訳）: LitTraceQA: 科学的質問応答におけるマルチステージグラウンドと検証のためのベンチマーク
- Abstract要約: 本稿では,学術論文に対する文献的回答のベンチマークであるLitTraceQAを紹介する。
研究質問と論文のメタデータプールが与えられた場合、システムは3つの接続された出力を返す必要がある。
我々は4,859枚のユニークなゴールド・ペーパーの4,978枚のユニーク・クエスト・レコードを用いて、より大規模な最終アノテーション・コレクションを解析した。
- 参考スコア（独自算出の注目度）: 30.616598264585203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific literature is increasingly used as a knowledge source for language models, retrieval-augmented generation systems, and research assistants, but answering research questions from papers requires more than fluent generation. A reliable system must identify the relevant papers, locate the concrete evidence that supports the answer, and produce a response that is faithful to that evidence. We present LitTraceQA, a benchmark for literature-grounded question answering over scientific papers. Given a research question and a metadata pool of papers, a system must return three connected outputs: canonical paper identifiers, supporting evidence locations, and answers in one or more requested formats, including free-form text, multiple-choice answers, and structured tables. LitTraceQA targets evidence types common in scientific reading: tables, figures, text spans, equations or algorithms, and citation contexts. The public development split contains 55 examples, including 26 hidden-source single-paper questions and 29 multi-paper questions, and provides gold papers, evidence annotations, and answers for local validation. We also analyze a larger final annotation collection with 4,978 unique-question records over 4,859 unique gold papers. By evaluating paper retrieval, evidence grounding, and answer accuracy separately, LitTraceQA provides a testbed for scientific QA systems that produce verifiable answers rather than unsupported summaries.
- Abstract（参考訳）: 科学文献は、言語モデル、検索強化された世代システム、研究アシスタントの知識源としてますます利用されているが、論文からの研究質問に答えるには、流動的な世代以上が必要である。
信頼できるシステムは、関連する書類を特定し、回答を支持する具体的な証拠を特定し、その証拠に忠実な回答を生成する必要がある。
本稿では,学術論文に対する文献的回答のベンチマークであるLitTraceQAを紹介する。
研究質問と論文のメタデータプールが与えられた場合、システムは3つの接続された出力を返す必要がある。
LitTraceQAは、テーブル、フィギュア、テキストスパン、方程式やアルゴリズム、引用コンテキストなど、科学的読解に共通するエビデンスタイプをターゲットにしている。
公開開発スプリットには、26の秘密のシングルペーパー質問と29のマルチペーパー質問を含む55の例が含まれており、ゴールドペーパー、エビデンスアノテーション、ローカル検証のための回答を提供している。
また,4,859枚のユニークなゴールドペーパーの4,978枚のユニーククエスト記録を用いて,より大規模な最終アノテーションコレクションを解析した。
LitTraceQAは、論文の検索、証拠の根拠、回答の精度を別々に評価することにより、サマリーではなく検証可能な回答を生成する科学的QAシステムのためのテストベッドを提供する。
関連論文リスト
- Lit3R: Retrieve-Relate-Read for Evidence-Grounded Question Answering over Scientific Literature [4.514081720659125]
本稿では, tus-nlp の Lit3R (Retrieve-Relate-Read) システムについて述べる。
Lit3Rは、タスク固有のトレーニングなしで、オフザシェルフ検索、リグレード、および大きな言語モデル(LLM)コンポーネントを組み合わせる。
読者はまず個々の論文内の証拠を識別し、次に各論文にまたがる証拠を合成し、最終的な回答と証拠の痕跡を生成する。
論文 参考訳（メタデータ） (2026-09-15T09:50:15Z) - Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - Explicit Evidence Grounding via Structured Inline Citation Generation [22.27784103991804]
FullCiteは、各クレームをソースドキュメントとリンクし、エビデンスをサポートする構造化インライン引用を生成するフレームワークである。
文献レベルの正しさ,証拠の特定範囲,クレームレベルの忠実さの3つの側面に沿って,引用品質と忠実度を評価する。
論文 参考訳（メタデータ） (2026-06-05T10:42:10Z) - Adaptive Retrieval Strategies for Biomedical Question Answering [10.793379752589166]
本稿では,質問タイプに応じた検索と証拠収集戦略を選択する適応型検索フレームワークを提案する。
提案手法をBioASQベンチマークで評価し,アダプティブ検索手法がエビデンスと応答品質を改善していることを示す。
論文 参考訳（メタデータ） (2026-06-02T22:22:28Z) - ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
論文 参考訳（メタデータ） (2026-05-25T21:30:27Z) - SQuAI: Scientific Question-Answering with Multi-Agent Retrieval-Augmented Generation [4.224843546370802]
SQuAIは、科学的質問応答のためのスケーラブルで信頼性の高いマルチエージェント検索拡張生成フレームワークである。
SQuAIは、arXiv.orgから230万以上のフルテキストの論文に基づいて構築されており、複雑な質問をサブクエストに分解するために4つの協力エージェントを使用している。
我々のシステムは,強いRAGベースライン上での忠実度,回答関連性,文脈関連性を+0.088 (12%)向上させる。
論文 参考訳（メタデータ） (2025-10-17T14:20:55Z) - VeriCite: Towards Reliable Citations in Retrieval-Augmented Generation via Rigorous Verification [107.75781898355562]
証拠を厳格に検証し,回答の帰属性を高めるために設計された,VeriCiteと呼ばれる新しいフレームワークを紹介する。
我々は,5つのオープンソースLCMと4つのデータセットを対象とした実験を行い,VeriCiteが回答の正しさを維持しつつ,引用品質を大幅に向上できることを実証した。
論文 参考訳（メタデータ） (2025-10-13T13:38:54Z) - PeerQA: A Scientific Question Answering Dataset from Peer Reviews [51.95579001315713]
実世界の科学的、文書レベルの質問回答データセットであるPeerQAを提示する。
データセットには208の学術論文から579のQAペアが含まれており、MLとNLPが多数を占めている。
収集したデータセットを詳細に分析し、3つのタスクのベースラインシステムを確立する実験を行う。
論文 参考訳（メタデータ） (2025-02-19T12:24:46Z) - SciDQA: A Deep Reading Comprehension Dataset over Scientific Papers [20.273439120429025]
SciDQAは、科学論文の深い理解のためにLSMに挑戦する、理解を読むための新しいデータセットである。
他の科学的QAデータセットとは異なり、SciDQAはドメインの専門家によるピアレビューや論文の著者による回答から質問を出している。
SciDQAの質問は、図、表、方程式、付属品、補足材料にまたがる推論を必要とする。
論文 参考訳（メタデータ） (2024-11-08T05:28:22Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳（メタデータ） (2021-05-07T00:12:34Z) - CAiRE-COVID: A Question Answering and Query-focused Multi-Document
Summarization System for COVID-19 Scholarly Information Management [48.251211691263514]
我々は、リアルタイム質問応答(QA)とマルチドキュメント要約システムであるCAiRE-COVIDを紹介し、Kaggle COVID-19 Open Researchデータセットチャレンジで10のタスクのうちの1つを勝ち取った。
本システムの目的は,コミュニティからの優先度の高い質問に答えることによって,新型コロナウイルスに関する数多くの学術論文をマイニングすることにある。
論文 参考訳（メタデータ） (2020-05-04T15:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。