論文の概要: AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents
- arxiv url: http://arxiv.org/abs/2609.05802v1
- Date: Sat, 05 Sep 2026 01:31:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.139026
- Title: AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents
- Title（参考訳）: AtomCite: 多ページドキュメントにおけるページレベルのサプリメントの検証と修正
- Abstract要約: AtomCiteは、回答をクレームに解析し、引用されたページのイメージに対して各クレームをチェックし、決定論的修復ポリシーを適用します。
インジェクションされたベンチマークでは、約93%のバイナリ検証精度に達し、OCRのみの条件ではかなり上回っている。
その修理方針は、正しいクレームの90%以上を保持しながら、34%から87-90%までの混合液の引用精度を引き上げている。
- 参考スコア（独自算出の注目度）: 21.842813905857863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models answering questions over multi-page documents are expected to cite the supporting pages, yet supplied citations are sometimes inaccurate, and current evaluations score citations at generation time or against text passages: no existing benchmark evaluates whether a system can verify and correct a page-level citation already attached to an answer. We propose AtomCite, an agentic framework that parses an answer into claims, checks each claim against the image of its cited page, and applies a deterministic repair policy. To evaluate it, we introduce DocCite, to our knowledge the first benchmark for systems that verify and correct page-level citations in document images. Built on MP-DocVQA and DUDE, it combines 928 validated injected instances with 2,468 candidate natural errors harvested from frontier- and efficiency-tier models, of which a two-annotator audit confirms 1,909 as genuine errors. Primary labels are assigned deterministically, not by LLM judges, with the human audit as a separate validation layer. Across three model families (Gemini, Claude, and GPT), AtomCite reaches around 93% binary verification accuracy on the injected benchmark, significantly outperforming every OCR-only condition, including a compute-matched control, and exceeding every prior text-based baseline given the same OCR text. Its repair policy lifts citation precision on the injected mix from a constructed 34% to 87-90% while retaining over 90% of correct claims. AtomCite also transfers: with frozen prompts and zero training, it raises the hallucination-detection scores of two open 7-8B models on five public benchmarks above the same models prompted as direct judges. Finally, the audit shows that noise in automatic labels biases measured verifier accuracy and can reverse system rankings, so evaluations relying only on synthetic or automatic labels risk mismeasuring verification capability.
- Abstract（参考訳）: 複数ページの文書に対する質問に答える大きな言語モデルは、サポートページを引用することが期待されているが、供給された引用は不正確である場合があり、現在の評価は、生成時またはテキストパスに対して引用をスコア付けする: 既存のベンチマークでは、システムが既に回答に添付されているページレベルの引用を検証し修正できるかどうかを評価する。
我々は,回答をクレームに解析し,引用ページのイメージに対して各クレームをチェックするエージェントフレームワークであるAtomCiteを提案し,決定論的修復ポリシーを適用した。
そこで我々はDocCiteを,文書画像中のページレベルの引用を検証・補正するシステムの最初のベンチマークとして紹介した。
MP-DocVQAとDUDEに基づいて構築され、928の検証されたインジェクトインスタンスと、フロンティア層と効率層モデルから抽出された2,468の自然エラーを組み合わせ、2つのアノテータが1,909を真エラーとして確認する。
一次ラベルは、LCMの審査員によってではなく、決定的に割り当てられ、人間の監査は別個の検証層として扱われる。
3つのモデルファミリ(Gemini、Claude、GPT)で、AtomCiteは、インジェクションされたベンチマークで約93%のバイナリ検証精度に達し、計算整合制御を含むOCRのみの条件をすべて上回り、同じOCRテキストを与えられた前のテキストベースベースラインをはるかに上回っている。
その修理方針は、正しいクレームの90%以上を保持しながら、34%から87-90%までの混合液の引用精度を引き上げている。
AtomCiteは、フリーズプロンプトとゼロトレーニングで、2つのオープンな7-8Bモデルの幻覚検出スコアを、直接の審査員が引き起こしたのと同じモデルの上に5つの公開ベンチマークで上げます。
最後に, 自動ラベルのノイズが検証精度を計測し, システムランキングを逆転させる可能性を示した。
関連論文リスト
- RefVerifier: Semi-Automated Reference Claim Verification for Scientific Manuscripts [1.6950215926321557]
RefVerifierは、学術的なピアレビューをサポートするために設計された、引用バウンドの参照検証プロトタイプである。
引用文を原稿から抽出し、学術的なデータベースに対してメタデータをチェックし、PDFへの参照を解決し、関連するエビデンスをローカライズし、自然言語の説明で評定を生成する。
8つの原稿によるエンドツーエンドテストでは、RefVerifierは精度が71%に達する。
論文 参考訳（メタデータ） (2026-09-07T15:39:59Z) - ATIBA: Grounded Integrity and Quality Checking for Research Papers [1.3241176321860364]
ATIBAは、原稿に5つの基礎的整合性と品質チェックを実行するツールである。
LLMは判断のみを信頼し、判断する証拠を決して発明しない。
論文 参考訳（メタデータ） (2026-09-03T17:24:15Z) - HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries [1.5965246343492343]
HIRAは、トレーニング不要でオンプレミスの検索拡張された、規制されたデプロイメントにおけるドキュメント分類のためのカスケードである。
信頼された文書は、検索によって直接分類され、不確実または視覚的に不確実な文書は、ローカルにホストされた検証者に渡される。
プライベートな80クラスのトレーディングファイナンスコーパスでは、HIRAが30,233のドキュメント生成ストリームを処理し、わずか1,945のドキュメントに対して人間の修正を要求する。
論文 参考訳（メタデータ） (2026-08-22T06:19:19Z) - ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers [0.0]
ResearchQAは、494のオープンアクセス論文から6,211のシングルペーパー質問応答ペアのベンチマークである。
ResearchQAは引用地上評価のために設計されている。
提案手法は,8つの先行したクローズドウェイトモデルとオープンウェイトモデルについて,引用グラウンド・チャット・ウィズ・ペーパー・セッティングで評価する。
論文 参考訳（メタデータ） (2026-07-13T04:26:51Z) - Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents [0.18762753243053634]
大規模言語モデル(LLM)は、数百のWebソースから情報を引用したレポートに合成するディープリサーチエージェントをパワーアップする。
現在のアプローチでは、信頼モデルが正確な自己引用、バイアスのリスク、あるいはソースアクセシビリティ、関連性、事実整合性を検証しない検索強化世代(RAG)を採用する。
本稿では,再現可能なASTルーブリックを用いてインライン引用を大規模に抽出し,評価する最初の情報源属性評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-07T17:46:45Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。
PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。
本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
論文 参考訳（メタデータ） (2026-01-07T04:26:12Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。