論文の概要: Evidence First, Arithmetic Second: A System Report and Failure Analysis for DocSem

• arxiv url: http://arxiv.org/abs/2609.39013v1
• Date: Wed, 30 Sep 2026 05:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.228569
• Title: Evidence First, Arithmetic Second: A System Report and Failure Analysis for DocSem
• Title（参考訳）: Evidence First, Arithmetic Second: DocSemのシステムレポートと障害解析
• Abstract要約: EVICALCはPDFを読み、パスを選択し、言語モデルに算術式を書き、その式をローカルコードで評価する。 公開検証の結果、92.17%の回答精度と1.00の証拠F1が得られた。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: EVICALC, our system for the DocSem shared task, achieved 8.61% joint accuracy on 1,730 tasks in the official final test evaluation. It reads a PDF, selects a passage, asks a language model to write an arithmetic expression, and evaluates that expression in local code. Saved intermediate results support inspection of failures. A separate public-validation run achieved 92.17% answer accuracy and 1.00 evidence F1. The configurations and metrics differ, so these scores are not a controlled comparison. Our manual, post-hoc analysis is descriptive: in one inspected case, optical character recognition (OCR) and block grouping merged the relevant passage into another block, and the system answered from unrelated text. An exploratory study of reading page images on 100 documents returned evidence identifiers for only 22 documents. These descriptive findings motivate further evaluation; they do not establish the causes of the overall score.
• Abstract（参考訳）: DocSem共有タスクのEVICALCでは,1,730タスクに対して8.61%のジョイント精度を実現した。 PDFを読み、パスを選択し、言語モデルに算術式を書き、その式をローカルコードで評価する。 保存された中間結果は、障害の検査をサポートする。 公開検証の結果、92.17%の回答精度と1.00の証拠F1が得られた。 構成とメトリクスは異なり、これらのスコアは制御された比較ではない。 1つの検査ケースでは、光学文字認識(OCR)とブロックグループ化(Block grouping)が関連するパスを別のブロックにマージし、システムは無関係テキストから応答する。 100の文書のページイメージを読み取る探索的研究は、22の文書の証拠識別子を返却した。 これらの記述的な発見はさらなる評価を動機付けており、スコア全体の原因を定めていない。

関連論文リスト

• TRACE: Target-Aware Retrieval, Attributed Evidence, and Contract-Constrained Extraction for LitTraceQA [0.8594140167290097]
  LitTraceQAには、標準的な紙の識別子、ページやオブジェクトレベルでの正確な証拠、評価値にマッチする型付き回答が必要である。 TRACEは、パス、オブジェクト、エイリアス、引用、密度の高い表現を通じて27,487の論文をインデックスし、各信号の後方に質問対象を保持する。 選抜されたクリーントラックアーティファクトスコア0.760613を公式71問検定セットで評価した。
  論文  参考訳（メタデータ） (2026-09-30T03:17:27Z)
• The Blindness of Document-Level Translation Evaluation [22.116587548254042]
  文書レベルの機械翻訳評価は、アノテータに全文書を提示することでセグメントレベルのプロトコルを拡張する。 この仮定を、各文書が異なるシステムから引き出されたセグメントを結合する対実条件で検証する。 18,420人を超える専門家のEnglis-to-Koreanアノテーションと14の自動メトリクス、スコア、システムランキング、エラーアノテーションは、一貫性のない文書と一貫性のない文書の間に統計的に等価である。
  論文  参考訳（メタデータ） (2026-09-05T07:33:06Z)
• AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents [21.842813905857863]
  AtomCiteは、回答をクレームに解析し、引用されたページのイメージに対して各クレームをチェックし、決定論的修復ポリシーを適用します。 インジェクションされたベンチマークでは、約93%のバイナリ検証精度に達し、OCRのみの条件ではかなり上回っている。 その修理方針は、正しいクレームの90%以上を保持しながら、34%から87-90%までの混合液の引用精度を引き上げている。
  論文  参考訳（メタデータ） (2026-09-05T01:31:50Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding [29.270128057512284]
  本稿では,長期文書QAを構造化推論軌道予測問題として定式化するベンチマークであるDocScopeを紹介する。 軌道の各レベルを独立に監査する4段階評価プロトコルを設計する。 6つのプロプライエタリなモデル、12のオープンウェイトモデル、いくつかのドメイン固有のシステムをベンチマークします。
  論文  参考訳（メタデータ） (2026-05-09T11:12:59Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。