論文の概要: Peerify: Benchmarking Peer-Review Claim Verification

• arxiv url: http://arxiv.org/abs/2609.25046v1
• Date: Wed, 02 Sep 2026 20:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.841586
• Title: Peerify: Benchmarking Peer-Review Claim Verification
• Title（参考訳）: Peerify: Peer-Reviewの検証のベンチマーク
• Abstract要約: 我々は、ピアレビュークレームの原稿ベース検証のためのパイプラインであるPeerifyを提示する。 原稿とレビューのコメントが与えられた後、Peerifyパイプラインはレビューをアトミックなクレームに分解し、関連する原稿証拠を取得し、各クレームが論文によって支持されているかどうかを決定する。 我々はPierifyパイプラインにおける最先端言語モデルと検索戦略を,詳細なベースラインとともに評価する。
• 参考スコア（独自算出の注目度）: 11.93456759575797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review plays a central role in scholarly publishing, yet verifying whether reviewer claims are supported by manuscript evidence remains a largely manual and time-consuming process. We present Peerify, a pipeline for manuscript-grounded verification of peer-review claims. Given a manuscript and a review comment, the Peerify pipeline decomposes reviews into atomic claims, retrieves relevant manuscript evidence, and determines whether each claim is supported by the paper. To support the development and evaluation of the pipeline, we construct a benchmark of 800 claims derived from authentic peer-review interactions collected from NeurIPS 2024 and ICLR 2024, including a 300-claim hand-labeled subset used to audit the automated supervision. We evaluate state-of-the-art language models and retrieval strategies within the Peerify pipeline, together with entailment baselines. Our results demonstrate the importance of retrieval-centered verification and claim decomposition, while highlighting the challenges posed by ambiguous and interpretive reviewer claims. Automated labels agree with human consensus on 90.3% of audited claims ($κ= 0.87$), while off-the-shelf entailment models stay below 0.24 macro-F1.
• Abstract（参考訳）: ピアレビューは学術出版において中心的な役割を担っているが、レビュアーの主張が原稿の証拠によって裏付けられているかどうかを検証することは、主に手作業と時間を要するプロセスである。 我々は、ピアレビュークレームの原稿ベース検証のためのパイプラインであるPeerifyを提示する。 原稿とレビューのコメントが与えられた後、Peerifyパイプラインはレビューをアトミックなクレームに分解し、関連する原稿証拠を取得し、各クレームが論文によって支持されているかどうかを決定する。 パイプラインの開発と評価を支援するため,NeurIPS 2024 と ICLR 2024 から収集した真正なピアレビューインタラクションから得られた800のクレームのベンチマークを構築した。 我々はPierifyパイプラインにおける最先端言語モデルと検索戦略を,詳細なベースラインとともに評価する。 その結果,検索中心の検証とクレームの分解の重要性が示され,不明瞭で解釈的なクレームによる課題が浮き彫りになった。 自動ラベルは、監査済みのクレームの90.3%(κ= 0.87$)について、人間の合意に同意している。

関連論文リスト

• ReGround: Grounding Reviewer Comments in Multimodal Evidence [65.14860452709777]
  レビューアのコメントは、レビューされた論文の特定の部分に自然に関連付けるが、長いマルチモーダル文書のために、これらのコメントを根底にある証拠に根拠付けることは困難である。 このデータセットは、レビュアーのコメントを10,267件と16,274件の証拠を3,656件の匿名の論文に関連付けている。 その結果,論文内容全体の検索は不十分であり,エビデンス型推論は大きなボトルネックであり,マルチモーダルなエビデンスによってテキストのみが見逃す補完的な信号が得られていることがわかった。
  論文  参考訳（メタデータ） (2026-09-10T12:32:58Z)
• RefVerifier: Semi-Automated Reference Claim Verification for Scientific Manuscripts [1.6950215926321557]
  RefVerifierは、学術的なピアレビューをサポートするために設計された、引用バウンドの参照検証プロトタイプである。 引用文を原稿から抽出し、学術的なデータベースに対してメタデータをチェックし、PDFへの参照を解決し、関連するエビデンスをローカライズし、自然言語の説明で評定を生成する。 8つの原稿によるエンドツーエンドテストでは、RefVerifierは精度が71%に達する。
  論文  参考訳（メタデータ） (2026-09-07T15:39:59Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Do Methods Support the Claims? Intra-Paper Verification for Peer Review [0.015552638545879348]
  既存の自動ノベルティ評価アプローチは、通常、以前の文献に対する論文の主張された貢献と比較する。 しかし、人間レビュアーはしばしば、類似したアイデアがすでに存在するからではなく、論文で示された方法論的証拠がそれらを適切に支持していないからである、と、ノベルティの主張に異議を唱える。 本稿では,論文に記載された新規性主張が,それを実現するための手法によって裏付けられているかどうかを評価する枠組みとして,論文内クレーム検証を導入する。
  論文  参考訳（メタデータ） (2026-06-21T18:52:53Z)
• Peerispect: Claim Verification in Scientific Peer Reviews [12.340116689292726]
  Peerispectは、ピアレビューでクレームレベルの検証を運用するインタラクティブシステムである。 結果は、論文のエビデンスを直接ハイライトするビジュアルインターフェースを通じて提示される。
  論文  参考訳（メタデータ） (2026-04-19T23:40:26Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。