論文の概要: Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review

• arxiv url: http://arxiv.org/abs/2610.11087v1
• Date: Thu, 08 Oct 2026 01:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.73669
• Title: Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review
• Title（参考訳）: Beyond Imitation: LLM支援ピアレビューのためのフレームワークとベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は自動レビューアシスタントとして提案されている。 LLM支援ピアレビューにおける検証中心の視点を紹介する。 本稿では,論理的矛盾を識別するレビューシステムの能力を評価するベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 13.984869867080606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of scientific publishing has strained peer review, particularly in machine learning, raising concerns about declining review quality and increasing reviewer workload. Large language models (LLMs) have been proposed as automated review assistants, yet their evaluation has focused largely on imitating human-written reviews rather than supporting the core functions of peer review. Here, we introduce a verification-centric perspective on LLM-assisted peer review, emphasizing error detection as a critical and resource-intensive task. We present a scalable benchmark that evaluates review systems' ability to identify logical contradictions, constructed through synthetic insertion of errors into conference papers, yielding unambiguous evaluation targets and enabling systematic comparison. We further propose a Multi-Layered Review (MLR) framework that prioritizes detailed manuscript comprehension before review generation, aligning more closely with human reviewing practices while improving token efficiency. Across evaluations, our approach demonstrates strong alignment with human review scores, achieves high error detection performance, and provides complementary perspectives on reviewer focus. These improvements can be attributed to both the choice of the underlying LLM and the design of our system. At the same time, we corroborate persistent vulnerabilities to adversarial manipulation, underscoring the need for robustness in automated review systems. Our findings highlight the importance of rigorous, error-focused evaluation to guide responsible deployment of LLM-based tools in peer review and other critical scientific workflows.
• Abstract（参考訳）: 科学出版の急速な成長は、特に機械学習におけるピアレビューを歪め、レビュー品質の低下とレビュアーの作業量の増加に対する懸念を高めている。 大規模言語モデル(LLM)は自動レビューアシスタントとして提案されているが、その評価はピアレビューのコア機能をサポートするのではなく、人間によるレビューの模倣に重点を置いている。 本稿では、LLM支援ピアレビューにおける検証中心の視点を紹介し、エラー検出を重要かつリソース集約的なタスクとして強調する。 本稿では,論文にエラーを合成し,不明瞭な評価対象を導き,体系的な比較を可能にすることにより,レビューシステムの論理的矛盾を識別する能力を評価するスケーラブルなベンチマークを提案する。 さらに、レビュー生成前に詳細な原稿理解を優先し、トークン効率を改善しつつ、人間のレビュー実践とより密に連携する多層レビュー(MLR)フレームワークを提案する。 評価において,本手法はヒトのレビュースコアと強い整合性を示し,高い誤差検出性能を示し,レビュアーの焦点に対する相補的な視点を提供する。 これらの改善は、基礎となるLCMの選択とシステムの設計の両方に起因している。 同時に、私たちは、自動レビューシステムにおける堅牢性の必要性を強調し、敵の操作に対する永続的な脆弱性を相関付けます。 本研究は,LLMをベースとしたツールをピアレビューや他の重要な科学的ワークフローに導入する上で,厳密でエラーに着目した評価の重要性を強調した。

関連論文リスト

• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• AI and the Future of Academic Peer Review [0.1622854284766506]
  大規模言語モデル(LLM)は、ジャーナリスト、資金提供者、個人レビュアーによってピアレビューパイプラインで試験されている。 初期の研究は、AIアシストが人間に匹敵する品質のレビューを作成できることを示唆している。 教師付きLDM支援は, 人間の判断を損なうことなく, エラー検出, タイムライン, レビューヤの作業量を改善することができることを示す。
  論文  参考訳（メタデータ） (2025-09-17T17:27:12Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
  学術研究の増大は、資格のあるレビュアーの不足と相まって、ピアレビューに対する革新的なアプローチを必要としている。 本稿では,AIによるレビューを総合的に評価するフレームワークであるReviewEvalを提案する。 本稿では、AIに基づくピアレビューに不可欠な指標を確立し、学術研究におけるAI生成レビューの信頼性と影響を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-02-17T12:22:11Z)
• DeepCRCEval: Revisiting the Evaluation of Code Review Comment Generation [11.010557279355885]
  本研究は,先行研究や開発者インタビューから得られた新しい基準を用いて,ベンチマークコメントを実証的に分析する。 評価フレームワークであるDeepCRCEvalは、人間の評価器とLarge Language Models(LLM)を統合し、現在の手法を総合的に再評価する。
  論文  参考訳（メタデータ） (2024-12-24T08:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。