論文の概要: PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews

• arxiv url: http://arxiv.org/abs/2610.21046v1
• Date: Thu, 15 Oct 2026 00:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.11185
• Title: PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews
• Title（参考訳）: PremiseCheck:人間とAIのピアレビューを効果的に行う
• Abstract要約: ReviewFactは、NLP、機械学習、そして自然科学の1つの定義の下で、レビューコメントの事実エラーをラベル付けする。 フロンティアのLSMはコメントをよくチェックするが、チェック毎に全紙を読み込まなければならない。一方、テキストに文が保持されているかどうかをスコアする安価な決定モデルは、いくつかの暗黙の主張を混ぜたコメント全体をはるかに不足する。
• 参考スコア（独自算出の注目度）: 21.111627095399058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review is under strain from the growth of submissions, and review comments written by humans or AI can misstate what a paper says. We introduce ReviewFact, a benchmark that labels such factual errors in review comments under one definition across NLP, machine learning, and the natural sciences, and that measures cost and latency alongside accuracy. A frontier LLM checks comments well but must read the whole paper for each check, while cheap decision models, which score whether a statement holds in a text, fall far short on whole comments that mix several implicit assertions. PremiseCheck is a framework that combines the two. An LLM rewrites each comment as explicit premises without reading the paper, and a decision model checks each premise against the paper. When each comment is checked on its own, PremiseCheck reaches accuracy comparable to GPT-5.5 across all three fields at about half its cost, and on NLP reviews at a quarter of its cost and less than half its latency.
• Abstract（参考訳）: 人間やAIが書いたコメントは、論文が言っていることを誤解させる可能性がある。 このベンチマークは、NLP、機械学習、自然科学にまたがる1つの定義の下でレビューコメントにそのような事実的エラーをラベル付けし、コストと遅延を精度とともに測定する。 フロンティアのLSMはコメントをよくチェックするが、チェック毎に全紙を読み込まなければならない。一方、テキストに文が保持されているかどうかをスコアする安価な決定モデルは、いくつかの暗黙のアサーションを混ぜたコメント全体にははるかに不足している。 PremiseCheckは2つを組み合わせたフレームワークだ。 LLMは各コメントを紙を読むことなく明示的な前提として書き直し、決定モデルは各前提を紙に対してチェックする。 各コメントを個別にチェックすると、PremiseCheckはGPT-5.5に匹敵する精度を3つのフィールドで約半分のコストで達成し、NLPレビューではその4分の1のコストで、レイテンシーの半分以下である。

関連論文リスト

• Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews [37.684628465527545]
  我々は、Kahnemanの二重プロセス理論をピアレビューとリリースのための構造化ルーリックとして運用する。 評価基準は3,563で、理論的に動機付けられた9つのテキスト次元、8つのバイアス診断、連続的推論品質スコアで評価された。
  論文  参考訳（メタデータ） (2026-07-12T00:03:42Z)
• PA-User: Simulating Trust and Verification under AI-Generated Content [1.1105673928718571]
  3つの新しいコンポーネントを持つユーザシミュレータPA-Userを提案する。 信頼コンポーネントは、それぞれのソースクラスの事実に関する別々のベータ信念を持っています。 決定ルールは、各結果に対する受け入れ、証明、破棄を選択する。
  論文  参考訳（メタデータ） (2026-06-22T00:45:06Z)
• CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers [39.97153044457166]
  カテゴリ固有のベンチマークサブセットを構築し、人間のレビューが欠落している場合に評価をスキップし、完全性を強化します。 また、専門家のアノテーションとしてレビュアー-著者-レビューの議論を活用し、正確性を強化するために信頼できないレビューをフィルタリングします。 CoCoReviewBenchは、ICLRとNeurIPSから3,900の論文をキュレーションして、AIレビュアーの信頼性ときめ細かい評価を可能にする。
  論文  参考訳（メタデータ） (2026-05-08T15:44:26Z)
• Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
  このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。 1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。 ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
  論文  参考訳（メタデータ） (2026-05-04T22:41:04Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• ReviewScore: Misinformed Peer Review Detection with Large Language Models [38.92827930465428]
  15.2%の弱点と26.4%の質問が誤記されていることを示し、レビューポイントが誤記されているかどうかを示すReviewScoreを紹介した。 人間の専門家によるReviewScoreデータセットを構築し、LLMがReviewScore評価を自動化する能力をチェックする。 また、前提レベルの事実性を評価することは、弱点レベルの事実性を評価するよりも、はるかに高い合意を示すことを示す。
  論文  参考訳（メタデータ） (2025-09-25T22:55:05Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。