論文の概要: PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality

• arxiv url: http://arxiv.org/abs/2606.20897v1
• Date: Thu, 18 Jun 2026 19:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 12:06:24.066895
• Title: PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality
• Title（参考訳）: PeerCheck: LLMが生成した学術的レビューを人間レベルの品質に向けて強化する
• Authors: Zeyuan Chen, Ziqing Yang, Yihan Ma, Michael Backes, Yang Zhang,
• Abstract要約: 本稿では,LLM-人為的レビューの差異(RQ1)を調査し,LLM生成レビューの質(RQ2)を改善する方法について検討するPeerCheckフレームワークを提案する。 まず,LLMが生成したレビューを用いて人によるレビューを解析した結果,LLMと人間は異なる用語に焦点を当てていることがわかった。 我々は、Chain-of-Thought(CoT)のような迅速なエンジニアリングを採用し、検索強化世代(RAG)を利用して、LLM生成レビューを人間レベルの品質に向けて強化する。
• 参考スコア（独自算出の注目度）: 26.831710344670913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As academic submissions grow, the traditional peer review process struggles to keep up, raising concerns about quality and fairness. A trend of using large language models (LLMs) for assistance has emerged. In this work, we take a critical step toward improving the quality of LLM-generated reviews. We propose the PeerCheck framework, which investigates LLM-human review differences (RQ1) and explores methods to improve LLM-generated review quality (RQ2). We first analyzed the human-written reviews with reviews generated by various LLMs and found that LLMs and humans focus on different terms, e.g., LLMs prioritize theory while humans emphasize methodology and experiments. We further adopt prompt engineering, such as Chain-of-Thought (CoT), and utilize retrieval-augmented generation (RAG) to enhance the LLM-generated reviews towards human-level quality. We find CoT significantly improves the quality of LLM reviews, while we discover an unexpected "RAG paradox," i.e., experiments with RAG produce different results for various LLMs and, in some cases, even reduce review quality. Our comprehensive analysis of LLM-generated academic reviews illustrates both possibilities and limitations, contributing to a more effective, human-aligned review system. Our dataset is available on https://github.com/TrustAIRLab/PeerCheck.
• Abstract（参考訳）: 学術論文が大きくなるにつれて、従来の査読プロセスは追いつこうと苦労し、品質と公平性に対する懸念を提起する。 補助に大規模言語モデル(LLM)を使用する傾向が出現している。 本研究では,LLMレビューの品質向上に向けて重要な一歩を踏み出した。 本稿では,LLM-人為的レビューの差異(RQ1)を調査し,LLM生成レビューの質(RQ2)を改善する方法について検討するPeerCheckフレームワークを提案する。 まず,LLM と LLM は異なる用語,例えば LLM は理論を優先する一方で,人間は方法論や実験に重点を置いていることがわかった。 我々はさらに、Chain-of-Thought(CoT)のような迅速なエンジニアリングを採用し、検索強化世代(RAG)を利用して、LLM生成した人間レベルの品質に対するレビューを強化する。 CoT は LLM のレビューの質を著しく向上させる一方,RAG による実験は様々な LLM に対して異なる結果をもたらし,レビューの質を低下させることもある。 LLMが生成した学術的レビューの包括的な分析は、可能性と限界の両方を示し、より効果的で人間に整合したレビューシステムに寄与する。 私たちのデータセットはhttps://github.com/TrustAIRLab/PeerCheck.comで公開されています。

関連論文リスト

• Review Arcade: On the Human Alignment and Gameability of LLM Reviews [4.626261940793026]
  我々は,2025 ACL Rolling Review (ARR) の論文に対して,著者とレビュアーの両方の観点から LLM レビューを評価する実験を行った。 LLMレビューの「ゲーム」は特定のシナリオで有効であり、最大35%の論文において、統計学的に顕著なスコアの増大につながることが判明した。
  論文  参考訳（メタデータ） (2026-05-27T12:40:35Z)
• Do LLMs Favor LLMs? Quantifying Interaction Effects in Peer Review [23.244156664404205]
  ピアレビューパイプラインにまたがるLLM使用に関する,最初の包括的な分析結果を提供する。 我々は、ICLR、NeurIPS、ICMLから125,000以上のペーパーレビューペアを分析した。
  論文  参考訳（メタデータ） (2026-01-28T18:50:54Z)
• Reviewing the Reviewer: Elevating Peer Review Quality through LLM-Guided Feedback [75.31379834079648]
  レビューを論証セグメントに分解するLLM駆動型フレームワークを提案する。 遅延思考と特異性をラベル付けした1,309文のデータセットであるLazyReviewPlusもリリースしました。
  論文  参考訳（メタデータ） (2026-01-17T20:32:18Z)
• LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
  大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。 本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-14T10:30:20Z)
• AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
  我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。 我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。 我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
  論文  参考訳（メタデータ） (2024-08-19T19:10:38Z)
• PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
  既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。 ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-28T12:33:14Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。