論文の概要: ReviewScore: Misinformed Peer Review Detection with Large Language Models

• arxiv url: http://arxiv.org/abs/2509.21679v1
• Date: Thu, 25 Sep 2025 22:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.070261
• Title: ReviewScore: Misinformed Peer Review Detection with Large Language Models
• Title（参考訳）: ReviewScore: 大きな言語モデルによる誤表現によるピアレビューの検出
• Abstract要約: 15.2%の弱点と26.4%の質問が誤記されていることを示し、レビューポイントが誤記されているかどうかを示すReviewScoreを紹介した。 人間の専門家によるReviewScoreデータセットを構築し、LLMがReviewScore評価を自動化する能力をチェックする。 また、前提レベルの事実性を評価することは、弱点レベルの事実性を評価するよりも、はるかに高い合意を示すことを示す。
• 参考スコア（独自算出の注目度）: 38.92827930465428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Peer review serves as a backbone of academic research, but in most AI conferences, the review quality is degrading as the number of submissions explodes. To reliably detect low-quality reviews, we define misinformed review points as either "weaknesses" in a review that contain incorrect premises, or "questions" in a review that can be already answered by the paper. We verify that 15.2% of weaknesses and 26.4% of questions are misinformed and introduce ReviewScore indicating if a review point is misinformed. To evaluate the factuality of each premise of weaknesses, we propose an automated engine that reconstructs every explicit and implicit premise from a weakness. We build a human expert-annotated ReviewScore dataset to check the ability of LLMs to automate ReviewScore evaluation. Then, we measure human-model agreements on ReviewScore using eight current state-of-the-art LLMs and verify moderate agreements. We also prove that evaluating premise-level factuality shows significantly higher agreements than evaluating weakness-level factuality. A thorough disagreement analysis further supports a potential of fully automated ReviewScore evaluation.
• Abstract（参考訳）: ピアレビューは学術研究のバックボーンとして機能するが、ほとんどのAIカンファレンスでは、応募の数が爆発するにつれてレビューの質が低下している。 低品質レビューを確実に検出するために、不適切な前提を含むレビューにおいて、誤記されたレビューポイントを「弱さ」と定義し、また、論文で既に答えられるレビューにおいて「疑問」と定義する。 15.2%の弱点と26.4%の質問が誤記されていることを検証し、レビューポイントが誤記されているかどうかを示すReviewScoreを紹介した。 弱点の前提の事実性を評価するために,弱点から明示的で暗黙的な前提をすべて再構築する自動エンジンを提案する。 人間の専門家によるReviewScoreデータセットを構築し、LLMがReviewScore評価を自動化する能力をチェックする。 次に,8つの現状のLCMを用いて,ReviewScore上での人間モデル合意を測定し,適度な合意を検証した。 また、前提レベルの事実性を評価することは、弱点レベルの事実性を評価するよりも、はるかに高い合意を示すことを示す。 徹底的な不一致分析は、完全自動化されたReviewScore評価の可能性をさらに支持する。

関連論文リスト

• ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
  本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。 我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。 またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
  論文  参考訳（メタデータ） (2026-09-08T17:30:16Z)
• CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers [39.97153044457166]
  カテゴリ固有のベンチマークサブセットを構築し、人間のレビューが欠落している場合に評価をスキップし、完全性を強化します。 また、専門家のアノテーションとしてレビュアー-著者-レビューの議論を活用し、正確性を強化するために信頼できないレビューをフィルタリングします。 CoCoReviewBenchは、ICLRとNeurIPSから3,900の論文をキュレーションして、AIレビュアーの信頼性ときめ細かい評価を可能にする。
  論文  参考訳（メタデータ） (2026-05-08T15:44:26Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
  本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。 ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。 レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
  論文  参考訳（メタデータ） (2026-01-21T16:48:29Z)
• ReviewGuard: Enhancing Deficient Peer Review Detection via LLM-Driven Data Augmentation [3.9199635838637072]
  ReviewGuardは、欠陥レビューを検出して分類する自動化システムである。 最終コーパスは6,634枚、実際のレビュー24,657枚、合成レビュー46,438枚である。 不十分なレビューでは、評価スコアの低下、自己報告の信頼性の向上、構造的な複雑さの低減、ネガティブな感情の比率の向上が示されています。
  論文  参考訳（メタデータ） (2025-10-18T15:45:26Z)
• The Good, the Bad and the Constructive: Automatically Measuring Peer Review's Utility for Authors [45.98233565214142]
  我々は、著者のユーティリティを駆動するレビューコメントの4つの重要な側面を識別する:アクションビリティ、グラウンディングと特異性、検証可能性、ヘルプフルネス。 人間のラベル付きレビューコメント1,430件を収集し、トレーニング目的のために10万件のラベル付きコメントを合成してデータをスケールします。 これらの側面に対するレビューコメントの評価と合理性を生成するための微調整モデルをベンチマークする。
  論文  参考訳（メタデータ） (2025-08-31T14:19:07Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)
• Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
  Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。 ICLR 2025で大規模なランダム化制御研究として実装された。 フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
  論文  参考訳（メタデータ） (2025-04-13T22:01:25Z)
• ReviewAgents: Bridging the Gap Between Human and AI-Generated Paper Reviews [24.566487721847597]
  学術論文レビュー(Academic paper review)は、研究コミュニティにおける批判的だが時間を要する課題である。 学術出版物の増加に伴い、レビュープロセスの自動化が大きな課題となっている。 大規模言語モデル(LLM)を利用して学術論文レビューを生成するフレームワークであるReviewAgentsを提案する。
  論文  参考訳（メタデータ） (2025-03-11T14:56:58Z)
• Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
  従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。 我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
  論文  参考訳（メタデータ） (2025-01-22T17:00:27Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。