論文の概要: PageRecall: Measuring Page Selection in Literature-Grounded Question Answering
- arxiv url: http://arxiv.org/abs/2609.18154v1
- Date: Wed, 16 Sep 2026 05:33:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.65794
- Title: PageRecall: Measuring Page Selection in Literature-Grounded Question Answering
- Title（参考訳）: PageRecall: 文学を中心とした質問応答におけるページ選択の測定
- Abstract要約: 調査質問が与えられた後、LitTraceQAは27,487のプールから関連書類を検索し、そのページと答えがどこにあるかの表や図を引用し、要求された形式で回答する。
主な発見は、根拠となる証拠は検索によって制限されており、読み取りによってではないということです。
45のケースでは14回、間違った24回、正しい7回しか返さないため、パイプラインが視覚的に失敗するほぼ2倍の頻度で失敗しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We describe our system for LitTraceQA (GroundLM @ EMNLP 2026): given a research question, retrieve the relevant papers from a pool of 27,487, cite the page and the table or figure where the answer lives, and answer in a requested format. Our main finding is that evidence grounding is limited by retrieval, not by reading. The page selector put the annotator's page, which we call the gold page, in front of the model that locates evidence only about half the time (52.6% gold-page recall), while that model, given the page, cited the right one in 45 of the 48 locators it emitted (94%). When the page was missing it rarely said so: of 45 such cases it returned nothing 14 times, a wrong page 24 times, and a correct page 7 times, so the pipeline failed quietly almost twice as often as it failed visibly. Since the failure was that the right page was never shown, the fix is to stop choosing: each retrieved paper fits in the model's context, so we show it whole. Page ranking survives only as a fallback inside papers too long to fit, which no test-split paper was, and gold-page recall reaches 100% on the papers we can parse. Separately, questions that identify their target by position rather than content, such as "the first author of the 24th reference", are served by parsing rather than retrieval: we resolve the bibliography into an addressable list, which also supplies identifiers the evidence metric scores. The final system scores 0.762 paper $F_1$, 0.441 evidence $F_1$ and 0.920 multiple-choice accuracy on the held-out test split. Because the pipeline depends on a closed model without seed control, we release a harness that verifies the paper's central claims against committed artifacts.
- Abstract（参考訳）: 本稿では,LitTraceQA (GroundLM @ EMNLP 2026): 研究課題を提示し,27,487のプールから関連論文を検索し,回答がどこにあるかのページや図面を引用し,要求された形式で回答する。
主な発見は、根拠となる証拠は検索によって制限されており、読み取りによってではないということです。
ページセレクタは、私たちがゴールドページと呼ぶアノテータのページを、およそ半分の時間(52.6%のゴールドページリコール)の証拠を見つけるモデルの前に置き、そのモデルがページを与えられたとき、出力した48のロケータのうち45の正しいページを引用した(94%)。
45のケースでは14回、間違った24回、正しい7回しか返さないため、パイプラインが視覚的に失敗するほぼ2倍の頻度で失敗しました。
失敗は、正しいページが決して表示されないため、その修正は、選択をやめることである: 取得した各紙は、モデルのコンテキストに適合するため、全体を示す。
ページのランク付けは、テストスプリットされた紙がなければ、紙の中に収まるのに時間がかかりすぎ、ゴールドページのリコールは私たちが解析できる論文で100%に達する。
第二に、「第24回参照の最初の著者」のような内容ではなく、位置によってターゲットを識別する質問は、検索よりも解析によって行われる:我々は、文献をアドレスリストに分解し、証拠基準スコアの識別子も提供する。
最終システムは、ホールドアウト試験分割における0.762ペーパー$F_1$、0.441エビデンス$F_1$、0.920多重選択精度をスコアする。
パイプラインはシードコントロールのないクローズドモデルに依存しているため、コミットされたアーティファクトに対する紙の中心的なクレームを検証するハーネスを解放する。
関連論文リスト
- AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents [21.842813905857863]
AtomCiteは、回答をクレームに解析し、引用されたページのイメージに対して各クレームをチェックし、決定論的修復ポリシーを適用します。
インジェクションされたベンチマークでは、約93%のバイナリ検証精度に達し、OCRのみの条件ではかなり上回っている。
その修理方針は、正しいクレームの90%以上を保持しながら、34%から87-90%までの混合液の引用精度を引き上げている。
論文 参考訳（メタデータ） (2026-09-05T01:31:50Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Structure for Reading, Prose for Writing: Asymmetric Structural Conditioning in Multi-Agent Document Authoring [7.404990869677114]
形式文書を執筆するマルチエージェントパイプラインは、要求者のフォームを読み取って、それに対して書き込まなければならない。
我々は,独立性制約の下でオープンウェイトモデルを実行し,同じ組織が提出した人手による入札に対して評価する,デプロイされたテンダーレスポンスシステムについて報告する。
システムが有効に機能していない盲目比較では、審査員は答えを最低でも40ドル(約4万4000円)、50ドル(約5万5000円)の地味なセクションで評価した。
論文 参考訳（メタデータ） (2026-08-21T06:57:46Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Fetch-then-Explore: Decoupling Selection from Extraction over a Persistent Workspace for Search Agents [60.97609995940902]
検索エージェントに対して textbfFetch-then-Explore を提案する。
ページ選択とエビデンス抽出を分離し、選択したものを保持する。
これは、すべてのバックボーンでBrowseCompの精度を導き、一般的にWideSearchのベースラインと一致するか、超える。
論文 参考訳（メタデータ） (2026-08-03T11:58:21Z) - HierDoc: Hierarchical Page-to-Region Evidence Routing for Long-Document Visual Question Answering [89.21987002412051]
複数ページの視覚的質問応答には、ページレベルと地域レベルの両方でスパースエビデンスを見つける必要がある。
文書の長期取得を2段階の予測として定式化する階層的エビデンスルーティングフレームワークであるHierDocを提案する。
HierDocは,オープンウェイトシステム間での最先端ないし競争的なパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-07-31T17:17:23Z) - XL-DocBench: Benchmarking Evidence-Grounded Extra-Long Document Understanding [66.6175918865927]
XL-DocBenchは、超長期文書理解のための完全に人間検証されたベンチマークである。
1,519人は6つの専門ドメインと2,303ページまでのコンテキストからの質問を保持した。
各質問には、12の推論ラベル、専門家による注釈付きエビデンスページ、型付き検証ルール、回答フォーマットの1つがある。
論文 参考訳（メタデータ） (2026-07-21T09:38:24Z) - Phantom References: Hallucinated Citations That Survive Peer Review at Top-Tier Conferences [4.766369673059568]
我々は、ICLR、ICML、NeurIPS、USENIX Securityから受理されたカメラ対応の論文にRefCheckerを適用する。
我々は、保守的な定義を用いて、ピアレビューされた手続きにおける引用幻覚を測定する。
結果は、ピアレビューだけでは引用整合性を確実に強制しないが、監査は難航していることを示唆している。
論文 参考訳（メタデータ） (2026-07-01T10:21:07Z) - Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。
LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。
12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
論文 参考訳（メタデータ） (2026-06-17T07:44:04Z) - Decomposing Retrieval Failures in RAG for Long-Document Financial Question Answering [10.782576574175044]
正しい文書が検索されるが、回答を含むページやチャンクが欠落する頻繁な障害モードについて検討する。
この文書内検索失敗モードは,QA(Financial Question Answering)文学において,体系的に限定的に注目されている。
複数レベルの粒度, 文書, ページ, チャンクレベルでの検索を評価し, オラクルに基づく解析を導入し, 検索および生成性能に関する実証的な上限を提供する。
論文 参考訳（メタデータ） (2026-02-20T04:31:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。